Erwägungsgrund 56

Der Einsatz von KI-Systemen in der Bildung ist wichtig, um eine hochwertige digitale allgemeine und berufliche Bildung zu fördern und es allen Lernenden und Lehrkräften zu ermöglichen, die erforderlichen digitalen Fähigkeiten und Kompetenzen, einschließlich Medienkompetenz und kritischem Denken, zu erwerben und auszutauschen, damit sie sich aktiv an Wirtschaft, Gesellschaft und demokratischen Prozessen beteiligen können. Allerdings sollten KI-Systeme, die in der allgemeinen oder beruflichen Bildung eingesetzt werden, um insbesondere den Zugang oder die Zulassung zum Zweck der Zuordnung von Personen zu Bildungs- und Berufsbildungseinrichtungen oder -programmen auf allen Ebenen zu bestimmen, die Lernergebnisse von Personen zu beurteilen, das angemessene Bildungsniveau einer Person zu bewerten und das Niveau der Bildung und Ausbildung, das die Person erhält oder zu dem sie Zugang erhält, wesentlich zu beeinflussen und verbotenes Verhalten von Schülern während Prüfungen zu überwachen und zu erkennen als hochriskante KI-Systeme eingestuft werden, da sie über den Verlauf der Bildung und des Berufslebens einer Person entscheiden und daher ihre Fähigkeit beeinträchtigen können, ihren Lebensunterhalt zu sichern. Bei unsachgemäßer Konzeption und Verwendung können solche Systeme sehr intrusiv sein und das Recht auf allgemeine und berufliche Bildung sowie das Recht auf Nichtdiskriminierung verletzen und historische Diskriminierungsmuster fortschreiben, beispielsweise gegenüber Frauen, bestimmten Altersgruppen und Menschen mit Behinderungen oder Personen mit einer bestimmten rassischen oder ethnischen Herkunft oder sexuellen Ausrichtung.

Nasadzovanie systémov AI v oblasti vzdelávania je dôležité na podporu vysokokvalitného digitálneho vzdelávania a odbornej prípravy a na to, aby sa všetkým vzdelávajúcim sa osobám a učiteľom umožnilo získať a zdieľať potrebné digitálne zručnosti a kompetencie vrátane mediálnej gramotnosti a kritického myslenia, aby mohli zohrávať aktívnu úlohu v hospodárstve, spoločnosti a demokratických procesoch. Systémy AI používané v oblasti vzdelávania alebo odbornej prípravy, obzvlášť na určovanie prístupu alebo prijatia, na prideľovanie osôb do inštitúcií alebo programov vzdelávania a odbornej prípravy na všetkých stupňoch, na hodnotenie učebných výsledkov osôb, na posúdenie primeranej úrovne vzdelania pre jednotlivca a podstatné ovplyvňovanie úrovne vzdelávania a odbornej prípravy, ktoré jednotlivci dostanú alebo ku ktorým budú mať prístup, alebo na jeho monitorovanie a odhaľovanie zakázaného správania študentov počas testov by sa mali klasifikovať ako vysokorizikové systémy AI, pretože môžu určovať vzdelávací a profesijný priebeh života osoby, a tým môžu ovplyvňovať jej schopnosť zabezpečiť si živobytie. Ak sú takéto systémy dizajnované a používané nesprávne, môžu byť obzvlášť rušivé a môžu porušovať právo na vzdelanie a odbornú prípravu, ako aj právo nebyť diskriminovaný, a tým zachovávať zaužívané vzorce diskriminácie, napríklad žien, určitých vekových skupín, osôb so zdravotným postihnutím alebo osôb určitého rasového alebo etnického pôvodu alebo s určitou sexuálnou orientáciou.