Recent heeft het College voor de Rechten van de Mens een onderzoek gepubliceerd over de inzet van digitale systemen in het funderend onderwijs: Algoritmes in het onderwijs. Naast kansen noemt het rapport ook risico’s en geeft aanbevelingen voor scholen en de sector.
De bevinding uit dat onderzoek hebben ook betrekking op adaptieve leersystemen. Dergelijke systemen (zoals Snappet, Gynzy en Bingel) worden met name op de basisscholen dagelijks ingezet. Dat brengt risico’s met zich mee met betrekking tot discriminatie en kansenongelijkheid. Als voorbeeld wordt gegeven dat het niveau van een leerling niet goed wordt ingeschat omdat een leerling op een andere manier leert of andere woorden gebruikt, dan de groep leerlingen waarop het systeem getraind is. Of een systeem geeft een kind het label “zwak” en houdt dat label aan, ook al is het kind inmiddels beter gaan leren.
Op basis van gesprekken met experts en de enkele onderzoeken benoemt het rapport de risico’s. Het benadrukt daarbij dat de effecten op verschillende groepen leerlingen niet goed bekend zijn. Extra onderzoek is dus hard nodig. In afwachting van verder onderzoek, vragen de in het rapport geconstateerde risico’s op discriminatie en kansenongelijkheid om bezinning voorafgaand aan de inzet en uiteraard ook tijdens het gebruik van adaptieve leersystemen.
Aanbevelingen uit het rapport
Het rapport beperkt zich niet tot constateren, maar doet ook aanbevelingen voor schoolbesturen en voor de sector in de vorm van een brief aan demissionair minister Dijkgraaf van het ministerie van OC&W. De minister wordt opgeroepen meer verantwoordelijkheid te nemen zoals bijvoorbeeld gebeurd is met betrekking tot privacy en beveiliging door het invoeren van het normenkader IBP voor het primair en voortgezet onderwijs.
Een andere aanbeveling is het testen en onderzoeken van digitale systemen op discriminatie en kansenongelijkheid voordat ze worden ingezet. Meer kennis over de effecten van algoritmes in de klas, kan onderwijsinstellingen helpen de juiste keuzes te maken. Hier ligt een rol voor onderzoekers, maar ook voor schoolbesturen en aanbieders op de leermiddelenmarkt. Een sectororganisatie zoals SIVON of Edu-V kan daarbij een belangrijke rol spelen door met aanbieders en ontwikkelaar aan te spreken en eisen te stellen.
De aanbevelingen hebben ook betrekking op kennis en voorlichting bij alle betrokken partijen, de school, de ouders, leraren, leerlingen en leraren in opleiding. Het Vlaamse Kenniscentrum Data & Maatschappij constateert in haar onderzoek naar de perceptie van algoritmes dat zowel ouders als leerlingen een ‘sterke nood’ hebben aan controle. Ze willen geïnformeerd worden, kunnen weigeren en bepalen.
Keuzevrijheid en waardenkader
Scholen hebben veel vrijheid in de keuze van leermiddelen. Bij het maken van keuzes zullen de scholen zich altijd moeten houden aan wetgeving zoals de AVG en de AI wet, maar ook aan het respecteren van mensen- en kinderrechten. Naast deze juridische kaders zijn ook ethische overwegingen van belang. Om deze afweging goed te maken is er een waardenkader nodig.
Veel scholen hebben nu nog geen instrument om een goede waardenafweging te maken bij het invoeren van digitale systemen. Dit maakt het moeilijk om risico’s goed te interpreteren en keuzes te maken. Het gevaar bestaat dat de aanbieders of het aanbod de keuze bepalen in plaats van de scholen.
De WaardenWijzer gemaakt door Kennisnet en SURF, biedt een mooi kader om in gesprek te gaan over de inzet van digitale leermiddelen.
DPIA en Kinderrechten impact assessments
Het stilstaan bij risico’s van een nieuw systeem kennen we als het gaat om de bescherming van persoonsgegevens, in de vorm van de DPIA. Deze is verplicht in het geval van een verwerking die een hoog risico inhoudt voor de rechten en vrijheden van leerlingen. Doel van de DPIA is het beoordelen van noodzaak en evenredigheid van de verwerkingen en de risico’s die daarmee samengaan, en het formuleren van maatregelen om deze te mitigeren.
Op veel van de adaptieve leersystemen wordt een DPIA uitgevoerd. De uitvoering hiervan is niet altijd optimaal. Vaak is de applicatie al in gebruik waardoor gewenste aanpassingen lastiger te realiseren zijn. Ook ligt steeds het gevaar op de loer dat de DPIA gereduceerd wordt tot een afvinklijst van beveiligingsrisico’s met betrekking tot de persoonsgegevens. Dat maakt een DPIA een gemiste kans om echte risico’s tijdig in kaart te brengen en aan te pakken.
Als we het DPIA-proces meer inhoud en aandacht geven, kunnen de risico’s op discriminatie en kansenongelijkheid daarin een plaats hebben. Zowel bij de belangenafwegingen in het kader van de rechtmatigheid van de verwerking als bij het bepalen van de risico’s, is er een breed perspectief mogelijk waarbij belangen en rechten van het kind worden meegewogen. Door de DPIA vooraf uit te voeren levert dit een bijdrage aan de gewenste bezinning.
Privacy op School heeft een kinderDPIA opgesteld waarin expliciet aandacht wordt gevraagd voor kinderrechten en bij de belangenafweging het beste besluit voor het kind het uitgangspunt is. De leerlingen mogen meepraten. Ook SIVON heeft haar DPIA uitgebreid met een Kinderrechten-afweging in de recente DPIA op Snappet.
Tenslotte
Het rapport van het College voor de Rechten van de Mens vraagt om aandacht en bezinning bij de inzet van digitale leermiddelen om de risico’s op discriminatie en kansenongelijkheid te verkleinen. De DPIA zou hierbij een rol kunnen spelen. Het is een stap die we nu direct kunnen zetten en die aansluit bij de processen die nu al binnen de school plaats vinden.
Laten we de DPIA tijdig uitvoeren, met de intentie om de risico’s en belangen goed te begrijpen en in kaart te brengen en kinderrechten hierin een plaats geven. Onderzoek naar de effecten van de inzet van digitale leermiddelen, een waardenkader voor de school en bewustwording, waar de Commissie tot oproept, gaan hierbij zeker helpen.