Considérant 56

Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.

Nasadzovanie systémov AI v oblasti vzdelávania je dôležité na podporu vysokokvalitného digitálneho vzdelávania a odbornej prípravy a na to, aby sa všetkým vzdelávajúcim sa osobám a učiteľom umožnilo získať a zdieľať potrebné digitálne zručnosti a kompetencie vrátane mediálnej gramotnosti a kritického myslenia, aby mohli zohrávať aktívnu úlohu v hospodárstve, spoločnosti a demokratických procesoch. Systémy AI používané v oblasti vzdelávania alebo odbornej prípravy, obzvlášť na určovanie prístupu alebo prijatia, na prideľovanie osôb do inštitúcií alebo programov vzdelávania a odbornej prípravy na všetkých stupňoch, na hodnotenie učebných výsledkov osôb, na posúdenie primeranej úrovne vzdelania pre jednotlivca a podstatné ovplyvňovanie úrovne vzdelávania a odbornej prípravy, ktoré jednotlivci dostanú alebo ku ktorým budú mať prístup, alebo na jeho monitorovanie a odhaľovanie zakázaného správania študentov počas testov by sa mali klasifikovať ako vysokorizikové systémy AI, pretože môžu určovať vzdelávací a profesijný priebeh života osoby, a tým môžu ovplyvňovať jej schopnosť zabezpečiť si živobytie. Ak sú takéto systémy dizajnované a používané nesprávne, môžu byť obzvlášť rušivé a môžu porušovať právo na vzdelanie a odbornú prípravu, ako aj právo nebyť diskriminovaný, a tým zachovávať zaužívané vzorce diskriminácie, napríklad žien, určitých vekových skupín, osôb so zdravotným postihnutím alebo osôb určitého rasového alebo etnického pôvodu alebo s určitou sexuálnou orientáciou.