Considerando 44
Español
Existe una gran preocupación respecto a la base científica de los sistemas de IA que procuran detectar o deducir las emociones, especialmente porque la expresión de las emociones varía de forma considerable entre culturas y situaciones, e incluso en una misma persona. Algunas de las deficiencias principales de estos sistemas son la fiabilidad limitada, la falta de especificidad y la limitada posibilidad de generalizar. Por consiguiente, los sistemas de IA que detectan o deducen las emociones o las intenciones de las personas físicas a partir de sus datos biométricos pueden tener resultados discriminatorios y pueden invadir los derechos y las libertades de las personas afectadas. Teniendo en cuenta el desequilibrio de poder en el contexto laboral o educativo, unido al carácter intrusivo de estos sistemas, dichos sistemas podrían dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros. Por tanto, debe prohibirse la introducción en el mercado, la puesta en servicio y el uso de sistemas de IA destinados a ser utilizados para detectar el estado emocional de las personas en situaciones relacionadas con el lugar de trabajo y el ámbito educativo. Dicha prohibición no debe aplicarse a los sistemas de IA introducidos en el mercado estrictamente con fines médicos o de seguridad, como los sistemas destinados a un uso terapéutico.
Deutsch
Im Hinblick auf die wissenschaftliche Grundlage von KI-Systemen, die darauf abzielen, Emotionen zu erkennen oder abzuleiten, bestehen ernsthafte Bedenken, insbesondere da sich Gefühlsausdrücke je nach Kultur oder Situation und selbst bei ein und derselben Person erheblich unterscheiden. Zu den größten Schwachstellen solcher Systeme gehört, dass sie beschränkt zuverlässig, nicht eindeutig und nur begrenzt verallgemeinerbar sind. Daher können KI-Systeme, die Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten erkennen oder ableiten, diskriminierende Ergebnisse hervorbringen und in die Rechte und Freiheiten der betroffenen Personen eingreifen. Angesichts des Machtungleichgewichts in den Bereichen Arbeit und Bildung in Verbindung mit dem intrusiven Charakter dieser Systeme können diese zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen führen. Daher sollte das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die den emotionalen Zustand von Einzelpersonen in Situationen, ableiten sollen, die mit dem Arbeitsplatz oder dem Bildungsbereich in Zusammenhang stehen, verboten werden. Dieses Verbot sollte nicht für KI-Systeme gelten, die ausschließlich aus medizinischen oder sicherheitstechnischen Gründen in Verkehr gebracht werden, wie z. B. Systeme, die für therapeutische Zwecke bestimmt sind.