Considérant 56

Le déploiement de systèmes d’IA dans l’éducation est important pour promouvoir une éducation et une formation numériques de qualité et pour permettre à tous les apprenants et enseignants d’acquérir et de partager les aptitudes et compétences numériques nécessaires, y compris l’éducation aux médias, ainsi que l’esprit critique, pour participer activement à l’économie, à la société et aux processus démocratiques. Toutefois, les systèmes d’IA utilisés dans l’éducation ou la formation professionnelle, en particulier pour déterminer l’accès ou l’admission, pour affecter des personnes à des établissements ou programmes d’enseignement et de formation professionnelle à tous les niveaux, pour évaluer les acquis d’apprentissage des personnes, pour évaluer le niveau d’enseignement approprié d’une personne et influencer substantiellement le niveau d’enseignement et de formation dont bénéficiera cette personne ou auquel elle pourra avoir accès ou pour surveiller les étudiants au cours des épreuves et détecter les comportements interdits dans ce cadre devraient être classés comme étant à haut risque, car ils peuvent déterminer le parcours éducatif et professionnel d’une personne et peut par conséquent avoir une incidence sur la capacité de cette personne à assurer sa propre subsistance. Lorsqu’ils sont mal conçus et utilisés, ces systèmes peuvent être particulièrement intrusifs et mener à des violations du droit à l’éducation et à la formation ainsi que du droit à ne pas subir de discriminations, et perpétuer des schémas historiques de discrimination, par exemple à l’encontre des femmes, de certains groupes d’âge, des personnes handicapées ou de certaines personnes en raison de leur origine raciale ou ethnique ou de leur orientation sexuelle.

La diffusione dei sistemi di IA nell'istruzione è importante per promuovere un'istruzione e una formazione digitali di alta qualità e per consentire a tutti i discenti e gli insegnanti di acquisire e condividere le competenze e le abilità digitali necessarie, compresa l'alfabetizzazione mediatica, e il pensiero critico, per partecipare attivamente all'economia, alla società e ai processi democratici. Tuttavia, i sistemi di IA utilizzati nell'istruzione o nella formazione professionale, in particolare per determinare l'accesso o l'ammissione, per assegnare persone agli istituti o ai programmi di istruzione e formazione professionale a tutti i livelli, per valutare i risultati dell'apprendimento delle persone, per valutare il livello di istruzione adeguato per una persona e influenzare materialmente il livello di istruzione e formazione che le persone riceveranno o a cui potranno avere accesso o per monitorare e rilevare comportamenti vietati degli studenti durante le prove, dovrebbero essere classificati come sistemi di IA ad alto rischio, in quanto possono determinare il percorso d'istruzione e professionale della vita di una persona e quindi può incidere sulla sua capacità di garantire il proprio sostentamento. Se progettati e utilizzati in modo inadeguato, tali sistemi possono essere particolarmente intrusivi e violare il diritto all'istruzione e alla formazione, nonché il diritto alla non discriminazione, e perpetuare modelli storici di discriminazione, ad esempio nei confronti delle donne, di talune fasce di età, delle persone con disabilità o delle persone aventi determinate origini razziali o etniche o un determinato orientamento sessuale.