Het kan bijna niemand ontgaan zijn, de AI wet is aangenomen in Europa. De wet wordt naar verwachting in juli gepubliceerd in het Europese publicatieblad en treedt 20 dagen na de bekendmaking in werking. De wet wordt gefaseerd ingevoerd en is na twee jaar volledig van toepassing, met enkele uitzonderingen. De bepalingen over verboden AI zijn al na 6 maanden van toepassing, begin 2025.
De AI wet is een uitgebreid juridisch kader voor de inzet van AI. Het doel van de wet is ervoor te zorgen dat AI-systemen geen inbreuk maken op de grondrechten, veiligheid en ethische beginselen. De wet kent een risico aanpak. AI-systemen met een onaanvaardbaar risico worden verboden. Denk hierbij aan systemen die een gevaar vormen voor een vrije samenleving, zoals ‘social scoring’ systemen. Daarnaast benoemt de wet systemen met een hoog risico, bijvoorbeeld AI die wordt gebruikt voor kritieke infrastructuur, rechtshandhaving, maar ook de inzet van AI in het onderwijs. Aan deze systemen worden hoge eisen gesteld om de risico’s te verkleinen.
Voor AI-systemen met een beperkt risico gelden vooral transparantievereisten, zodat het duidelijk is dat een gebruiker met een AI-systeem te maken heeft of dat bepaalde tekst door AI is gegenereerd. Daarnaast kent de wet aparte regels voor generatieve AI; AI die niet specifiek is ontwikkeld voor een bepaalde toepassing, maar die voor verschillende toepassingen kan worden ingezet.
Verboden en hoog risico in het onderwijs
Bij de verboden AI-systemen noemt de wet onder meer emotieherkenning in het onderwijs. Het is de vraag welke systemen hieronder zullen gaan vallen en of dergelijke toepassingen nu al worden aangeboden of gebruikt. De AP geeft aan zich te moeten verdiepen – samen met andere toezichthouders – op de precieze invulling van verboden AI. De omschrijvingen zijn complex en voor iedereen nieuw.
Bij de opsomming van hoog risicosystemen wordt de inzet van AI op school genoemd. Het gaat om:
- Toegang, toelating en toewijzing tot onderwijs
- Evalueren van leerresultaten en sturen van het leerproces
- Beoordelen van het passend onderwijsniveau
- Monitoren en detecteren van ongeoorloofd gedrag tijdens toetsen
AI in het onderwijs is risicovol omdat het bepalend kan zijn voor de onderwijsloopbaan van een leerling en hiermee zijn of haar toekomst. AI kan discriminatie in de hand werken en daarmee een risico op ongelijke behandeling. Het College voor de Rechten van de Mens heeft een rapport gepubliceerd over de risico’s van algoritmes in de klas. We hebben hier een artikel over geschreven.
Ook bij bovenstaande omschrijvingen van hoog risico categorieën is het interessant om na te gaan wat precies onder de omschrijvingen valt en welke toepassingen er nu in de praktijk al worden ingezet of aangeboden. Zijn er bijvoorbeeld adaptieve leersystemen die door het ontwerp en/of door de wijze van gebruik als hoog risicosysteem dienen te worden aangemerkt? In de volgende nieuwsbrief gaan we in op deze vraag en op de verplichtingen die de AI wet oplegt in het geval van een hoog risico AI, zoals het Fundemental Rights Impact Assessment (FRIA)
AVG
Voor veel AI-systemen in het onderwijs zal gelden dat ook de AVG van toepassing is omdat persoonsgegevens van leerlingen worden verwerkt. Dat betekent dat naast de toetsing aan de AI wet ook voldaan moet worden aan de AVG vereisten, bijvoorbeeld aan de verwerkersovereenkomst (ook bij gratis toepassingen) en de omgang met bijzondere persoonsgegevens. Een informatief (Engelstalig) overzicht van populaire AI toepassingen en AVG vereisten is hier te vinden.
Ethische afwegingen
Voor de inzet van AI biedt de wet het juridische kader. Voor een bewuste en verantwoorde keuze spelen daarnaast ethische afwegingen, gebaseerd op waarden en de visie van de school, een onmisbare rol. Kennisnet heeft voor de inzet van AI in het onderwijs een uitgebreide handreiking opgesteld waar ook dit aan bod komt.
Privacy op School besteedt de komende nieuwsbrieven aandacht aan de AI wet en wat de implicaties zijn voor het onderwijs. We denken graag mee bij de afwegingen die uw school moeten maken als het gaat om de inzet van AI.
Nog niet ingeschreven voor de nieuwsbrief? Schrijf je hieronder in.