Erwägungsgrund 44

Im Hinblick auf die wissenschaftliche Grundlage von KI-Systemen, die darauf abzielen, Emotionen zu erkennen oder abzuleiten, bestehen ernsthafte Bedenken, insbesondere da sich Gefühlsausdrücke je nach Kultur oder Situation und selbst bei ein und derselben Person erheblich unterscheiden. Zu den größten Schwachstellen solcher Systeme gehört, dass sie beschränkt zuverlässig, nicht eindeutig und nur begrenzt verallgemeinerbar sind. Daher können KI-Systeme, die Emotionen oder Absichten natürlicher Personen auf der Grundlage ihrer biometrischen Daten erkennen oder ableiten, diskriminierende Ergebnisse hervorbringen und in die Rechte und Freiheiten der betroffenen Personen eingreifen. Angesichts des Machtungleichgewichts in den Bereichen Arbeit und Bildung in Verbindung mit dem intrusiven Charakter dieser Systeme können diese zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen führen. Daher sollte das Inverkehrbringen, die Inbetriebnahme oder die Verwendung von KI-Systemen, die den emotionalen Zustand von Einzelpersonen in Situationen, ableiten sollen, die mit dem Arbeitsplatz oder dem Bildungsbereich in Zusammenhang stehen, verboten werden. Dieses Verbot sollte nicht für KI-Systeme gelten, die ausschließlich aus medizinischen oder sicherheitstechnischen Gründen in Verkehr gebracht werden, wie z. B. Systeme, die für therapeutische Zwecke bestimmt sind.

Istnieją poważne obawy co do podstaw naukowych systemów AI mających na celu rozpoznawanie emocji lub wyciąganie wniosków na temat emocji, zwłaszcza że wyrażanie emocji znacznie się różni w zależności od kultur i sytuacji, a nawet w przypadku pojedynczej osoby. Wśród głównych wad takich systemów znajdują się ograniczona wiarygodność, nieprecyzyjność i ograniczona możliwość uogólnienia. W związku z tym systemy AI rozpoznające emocje lub zamiary osób fizycznych lub wyciągające wnioski na temat emocji lub zamiarów na podstawie danych biometrycznych tych osób mogą prowadzić do dyskryminacyjnych wyników i mogą naruszać prawa i wolności zainteresowanych osób. Biorąc pod uwagę brak równowagi sił w kontekście pracy lub edukacji, w połączeniu z inwazyjnym charakterem tych systemów, systemy takie mogą prowadzić do krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub całych ich grup. W związku z tym należy zakazać wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemów AI przeznaczonych do wykrywania stanu emocjonalnego osób fizycznych w sytuacjach związanych z miejscem pracy i edukacją. Zakaz ten nie powinien obejmować systemów AI wprowadzanych do obrotu wyłącznie ze względów medycznych lub bezpieczeństwa, takich jak systemy przeznaczone do użytku terapeutycznego.