Considerando 44

Sussistono serie preoccupazioni in merito alla base scientifica dei sistemi di IA volti a identificare o inferire emozioni, in particolare perché l'espressione delle emozioni varia notevolmente in base alle culture e alle situazioni e persino in relazione a una stessa persona. Tra le principali carenze di tali sistemi figurano la limitata affidabilità, la mancanza di specificità e la limitata generalizzabilità. Pertanto, i sistemi di IA che identificano o inferiscono emozioni o intenzioni di persone fisiche sulla base dei loro dati biometrici possono portare a risultati discriminatori e possono essere invasivi dei diritti e delle libertà delle persone interessate. Considerando lo squilibrio di potere nel contesto del lavoro o dell'istruzione, combinato con la natura invasiva di tali sistemi, questi ultimi potrebbero determinare un trattamento pregiudizievole o sfavorevole di talune persone fisiche o di interi gruppi di persone fisiche. È pertanto opportuno vietare l'immissione sul mercato, la messa in servizio o l'uso di sistemi di IA destinati a essere utilizzati per rilevare lo stato emotivo delle persone in situazioni relative al luogo di lavoro e all'istruzione. Tale divieto non dovrebbe riguardare i sistemi di IA immessi sul mercato esclusivamente per motivi medici o di sicurezza, come i sistemi destinati all'uso terapeutico.

Istnieją poważne obawy co do podstaw naukowych systemów AI mających na celu rozpoznawanie emocji lub wyciąganie wniosków na temat emocji, zwłaszcza że wyrażanie emocji znacznie się różni w zależności od kultur i sytuacji, a nawet w przypadku pojedynczej osoby. Wśród głównych wad takich systemów znajdują się ograniczona wiarygodność, nieprecyzyjność i ograniczona możliwość uogólnienia. W związku z tym systemy AI rozpoznające emocje lub zamiary osób fizycznych lub wyciągające wnioski na temat emocji lub zamiarów na podstawie danych biometrycznych tych osób mogą prowadzić do dyskryminacyjnych wyników i mogą naruszać prawa i wolności zainteresowanych osób. Biorąc pod uwagę brak równowagi sił w kontekście pracy lub edukacji, w połączeniu z inwazyjnym charakterem tych systemów, systemy takie mogą prowadzić do krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub całych ich grup. W związku z tym należy zakazać wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemów AI przeznaczonych do wykrywania stanu emocjonalnego osób fizycznych w sytuacjach związanych z miejscem pracy i edukacją. Zakaz ten nie powinien obejmować systemów AI wprowadzanych do obrotu wyłącznie ze względów medycznych lub bezpieczeństwa, takich jak systemy przeznaczone do użytku terapeutycznego.