Considerando 44

Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar o deducir las emociones, especialmente porque la expresión de las emociones varía de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estos sistemas son la fiabilidad limitada, la falta de especificidad y la limitada posibilidad de generalizar. Por consiguiente, los sistemas de IA que detectan o deducen las emociones o las intenciones de las personas físicas a partir de sus datos biométricos pueden tener resultados discriminatorios y pueden invadir los derechos y las libertades de las personas afectadas. Teniendo en cuenta el desequilibrio de poder en el contexto laboral o educativo, unido al carácter intrusivo de estos sistemas, dichos sistemas podrían dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA destinados a ser utilizados para detectar el estado emocional de las personas en situaciones relacionadas con el lugar de trabajo y el ámbito educativo. Dicha prohibición no debe aplicarse a los sistemas de IA introducidos en el mercado estrictamente con fines médicos o de seguridad, como los sistemas destinados a un uso terapéutico.

Existujú vážne obavy v súvislosti s vedeckým základom systémov AI, ktorých cieľom je identifikovať alebo odvodzovať emócie, najmä preto, že prejav emócií sa v jednotlivých kultúrach a situáciách a dokonca aj v prípade jedného jednotlivca značne líši. Medzi hlavné nedostatky takýchto systémov patrí obmedzená spoľahlivosť, nedostatočná špecifickosť a obmedzená možnosť zovšeobecnenia. Systémy AI, ktoré identifikujú alebo odvodzujú emócie alebo zámery fyzických osôb na základe ich biometrických údajov, preto môžu viesť k diskriminačným výsledkom a môžu zasahovať do práv a slobôd dotknutých osôb. Vzhľadom na nerovnováhu moci v kontexte práce alebo vzdelávania v kombinácii s rušivým charakterom týchto systémov by takéto systémy mohli viesť k škodlivému alebo nepriaznivému zaobchádzaniu s niektorými fyzickými osobami alebo celými skupinami fyzických osôb. Preto by sa malo zakázať uvádzanie na trh, uvádzanie do prevádzky alebo používanie systémov AI na zisťovanie emocionálneho stavu jednotlivcov v situáciách súvisiacich s pracoviskom a vzdelávaním. Tento zákaz by sa nemal vzťahovať na systémy AI uvádzané na trh výlučne zo zdravotných alebo bezpečnostných dôvodov, ako sú systémy určené na terapeutické použitie.