Considerando 56

La diffusione dei sistemi di IA nell'istruzione è importante per promuovere un'istruzione e una formazione digitali di alta qualità e per consentire a tutti i discenti e gli insegnanti di acquisire e condividere le competenze e le abilità digitali necessarie, compresa l'alfabetizzazione mediatica, e il pensiero critico, per partecipare attivamente all'economia, alla società e ai processi democratici. Tuttavia, i sistemi di IA utilizzati nell'istruzione o nella formazione professionale, in particolare per determinare l'accesso o l'ammissione, per assegnare persone agli istituti o ai programmi di istruzione e formazione professionale a tutti i livelli, per valutare i risultati dell'apprendimento delle persone, per valutare il livello di istruzione adeguato per una persona e influenzare materialmente il livello di istruzione e formazione che le persone riceveranno o a cui potranno avere accesso o per monitorare e rilevare comportamenti vietati degli studenti durante le prove, dovrebbero essere classificati come sistemi di IA ad alto rischio, in quanto possono determinare il percorso d'istruzione e professionale della vita di una persona e quindi può incidere sulla sua capacità di garantire il proprio sostentamento. Se progettati e utilizzati in modo inadeguato, tali sistemi possono essere particolarmente intrusivi e violare il diritto all'istruzione e alla formazione, nonché il diritto alla non discriminazione, e perpetuare modelli storici di discriminazione, ad esempio nei confronti delle donne, di talune fasce di età, delle persone con disabilità o delle persone aventi determinate origini razziali o etniche o un determinato orientamento sessuale.

Ve vzdělávání je zavádění systémů AI důležité pro podporu vysoce kvalitního digitálního vzdělávání a odborné přípravy a pro to, aby všichni účastníci vzdělávání a učitelé mohli získat a sdílet nezbytné digitální dovednosti a kompetence, včetně mediální gramotnosti a kritického myšlení, a mohli se tak aktivně zapojit do ekonomiky, společnosti a demokratických procesů. Jako vysoce rizikové by však měly být klasifikovány systémy AI používané ve vzdělávání nebo v odborné přípravě, zejména při určování přístupu osob do školských institucí a programů nebo institucí nebo programů odborného vzdělávání, jejich přijímání nebo přidělování do těchto institucí nebo programů na všech úrovních nebo pro hodnocení výsledků učení osob, pro posouzení vhodné úrovně vzdělávání jednotlivce a věcného vlivu úrovně vzdělávání a odborné přípravy, které tito jedinci obdrží, nebo pro určení přístupu nebo pro monitorování a detekci zakázaného chování studentů během testů, neboť takovéto systémy mohou určovat vzdělávací a profesní průběh života určité osoby, a tím mohou ovlivňovat její schopnost zajišťovat si živobytí. Pokud budou tyto systémy navrženy a používány nesprávně, mohou být mimořádně invazivní a mohou porušovat právo na vzdělávání a odbornou přípravu i právo nebýt diskriminován a fixovat historické vzorce diskriminace, například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace.