Recital 56

The deployment of AI systems in education is important to promote high-quality digital education and training and to allow all learners and teachers to acquire and share the necessary digital skills and competences, including media literacy, and critical thinking, to take an active part in the economy, society, and in democratic processes. However, AI systems used in education or vocational training, in particular for determining access or admission, for assigning persons to educational and vocational training institutions or programmes at all levels, for evaluating learning outcomes of persons, for assessing the appropriate level of education for an individual and materially influencing the level of education and training that individuals will receive or will be able to access or for monitoring and detecting prohibited behaviour of students during tests should be classified as high-risk AI systems, since they may determine the educational and professional course of a person’s life and therefore may affect that person’s ability to secure a livelihood. When improperly designed and used, such systems may be particularly intrusive and may violate the right to education and training as well as the right not to be discriminated against and perpetuate historical patterns of discrimination, for example against women, certain age groups, persons with disabilities, or persons of certain racial or ethnic origins or sexual orientation.

Ve vzdělávání je zavádění systémů AI důležité pro podporu vysoce kvalitního digitálního vzdělávání a odborné přípravy a pro to, aby všichni účastníci vzdělávání a učitelé mohli získat a sdílet nezbytné digitální dovednosti a kompetence, včetně mediální gramotnosti a kritického myšlení, a mohli se tak aktivně zapojit do ekonomiky, společnosti a demokratických procesů. Jako vysoce rizikové by však měly být klasifikovány systémy AI používané ve vzdělávání nebo v odborné přípravě, zejména při určování přístupu osob do školských institucí a programů nebo institucí nebo programů odborného vzdělávání, jejich přijímání nebo přidělování do těchto institucí nebo programů na všech úrovních nebo pro hodnocení výsledků učení osob, pro posouzení vhodné úrovně vzdělávání jednotlivce a věcného vlivu úrovně vzdělávání a odborné přípravy, které tito jedinci obdrží, nebo pro určení přístupu nebo pro monitorování a detekci zakázaného chování studentů během testů, neboť takovéto systémy mohou určovat vzdělávací a profesní průběh života určité osoby, a tím mohou ovlivňovat její schopnost zajišťovat si živobytí. Pokud budou tyto systémy navrženy a používány nesprávně, mohou být mimořádně invazivní a mohou porušovat právo na vzdělávání a odbornou přípravu i právo nebýt diskriminován a fixovat historické vzorce diskriminace, například vůči ženám, určitým věkovým skupinám, osobám se zdravotním postižením nebo osobám určitého rasového nebo etnického původu nebo sexuální orientace.