Bod odůvodnění 56

Ve vzdělávání je zavádění systémů AI důležité pro podporu vysoce kvalitního digitálního vzdělávání a odborné přípravy a pro to, aby všichni účastníci vzdělávání a učitelé mohli získat a sdílet nezbytné digitální dovednosti a kompetence, včetně mediální gramotnosti a kritického myšlení, a mohli se tak aktivně zapojit do ekonomiky, společnosti a demokratických procesů. Jako vysoce rizikové by však měly být klasifikovány systémy AI používané ve vzdělávání nebo v odborné přípravě, zejména při určování přístupu osob do školských institucí a programů nebo institucí nebo programů odborného vzdělávání, jejich přijímání nebo přidělování do těchto institucí nebo programů na všech úrovních nebo pro hodnocení výsledků učení osob, pro posouzení vhodné úrovně vzdělávání jednotlivce a věcného vlivu úrovně vzdělávání a odborné přípravy, které tito jedinci obdrží, nebo pro určení přístupu nebo pro monitorování a detekci zakázaného chování studentů během testů, neboť takovéto systémy mohou určovat vzdělávací a profesní průběh života určité osoby, a tím mohou ovlivňovat její schopnost zajišťovat si živobytí. Pokud budou tyto systémy navrženy a používány nesprávně, mohou být mimořádně invazivní a mohou porušovat právo na vzdělávání a odbornou přípravu i právo nebýt diskriminován a fixovat historické vzorce diskriminace, například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace.

Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.