Considerando 56

La diffusione dei sistemi di IA nell'istruzione è importante per promuovere un'istruzione e una formazione digitali di alta qualità e per consentire a tutti i discenti e gli insegnanti di acquisire e condividere le competenze e le abilità digitali necessarie, compresa l'alfabetizzazione mediatica, e il pensiero critico, per partecipare attivamente all'economia, alla società e ai processi democratici. Tuttavia, i sistemi di IA utilizzati nell'istruzione o nella formazione professionale, in particolare per determinare l'accesso o l'ammissione, per assegnare persone agli istituti o ai programmi di istruzione e formazione professionale a tutti i livelli, per valutare i risultati dell'apprendimento delle persone, per valutare il livello di istruzione adeguato per una persona e influenzare materialmente il livello di istruzione e formazione che le persone riceveranno o a cui potranno avere accesso o per monitorare e rilevare comportamenti vietati degli studenti durante le prove, dovrebbero essere classificati come sistemi di IA ad alto rischio, in quanto possono determinare il percorso d'istruzione e professionale della vita di una persona e quindi può incidere sulla sua capacità di garantire il proprio sostentamento. Se progettati e utilizzati in modo inadeguato, tali sistemi possono essere particolarmente intrusivi e violare il diritto all'istruzione e alla formazione, nonché il diritto alla non discriminazione, e perpetuare modelli storici di discriminazione, ad esempio nei confronti delle donne, di talune fasce di età, delle persone con disabilità o delle persone aventi determinate origini razziali o etniche o un determinato orientamento sessuale.

Nasadzovanie systémov AI v oblasti vzdelávania je dôležité na podporu vysokokvalitného digitálneho vzdelávania a odbornej prípravy a na to, aby sa všetkým vzdelávajúcim sa osobám a učiteľom umožnilo získať a zdieľať potrebné digitálne zručnosti a kompetencie vrátane mediálnej gramotnosti a kritického myslenia, aby mohli zohrávať aktívnu úlohu v hospodárstve, spoločnosti a demokratických procesoch. Systémy AI používané v oblasti vzdelávania alebo odbornej prípravy, obzvlášť na určovanie prístupu alebo prijatia, na prideľovanie osôb do inštitúcií alebo programov vzdelávania a odbornej prípravy na všetkých stupňoch, na hodnotenie učebných výsledkov osôb, na posúdenie primeranej úrovne vzdelania pre jednotlivca a podstatné ovplyvňovanie úrovne vzdelávania a odbornej prípravy, ktoré jednotlivci dostanú alebo ku ktorým budú mať prístup, alebo na jeho monitorovanie a odhaľovanie zakázaného správania študentov počas testov by sa mali klasifikovať ako vysokorizikové systémy AI, pretože môžu určovať vzdelávací a profesijný priebeh života osoby, a tým môžu ovplyvňovať jej schopnosť zabezpečiť si živobytie. Ak sú takéto systémy dizajnované a používané nesprávne, môžu byť obzvlášť rušivé a môžu porušovať právo na vzdelanie a odbornú prípravu, ako aj právo nebyť diskriminovaný, a tým zachovávať zaužívané vzorce diskriminácie, napríklad žien, určitých vekových skupín, osôb so zdravotným postihnutím alebo osôb určitého rasového alebo etnického pôvodu alebo s určitou sexuálnou orientáciou.