Odôvodnenie 44

Existujú vážne obavy v súvislosti s vedeckým základom systémov AI, ktorých cieľom je identifikovať alebo odvodzovať emócie, najmä preto, že prejav emócií sa v jednotlivých kultúrach a situáciách a dokonca aj v prípade jedného jednotlivca značne líši. Medzi hlavné nedostatky takýchto systémov patrí obmedzená spoľahlivosť, nedostatočná špecifickosť a obmedzená možnosť zovšeobecnenia. Systémy AI, ktoré identifikujú alebo odvodzujú emócie alebo zámery fyzických osôb na základe ich biometrických údajov, preto môžu viesť k diskriminačným výsledkom a môžu zasahovať do práv a slobôd dotknutých osôb. Vzhľadom na nerovnováhu moci v kontexte práce alebo vzdelávania v kombinácii s rušivým charakterom týchto systémov by takéto systémy mohli viesť k škodlivému alebo nepriaznivému zaobchádzaniu s niektorými fyzickými osobami alebo celými skupinami fyzických osôb. Preto by sa malo zakázať uvádzanie na trh, uvádzanie do prevádzky alebo používanie systémov AI na zisťovanie emocionálneho stavu jednotlivcov v situáciách súvisiacich s pracoviskom a vzdelávaním. Tento zákaz by sa nemal vzťahovať na systémy AI uvádzané na trh výlučne zo zdravotných alebo bezpečnostných dôvodov, ako sú systémy určené na terapeutické použitie.

Existují vážné obavy ohledně vědeckého základu systémů AI, jejichž cílem je zjišťovat nebo odvozovat emoce, zejména z toho důvodu, že vyjádření emocí se v jednotlivých kulturách a situacích značně liší, a dokonce i u téhož jednotlivce. Mezi hlavní nedostatky těchto systémů patří omezená spolehlivost, nedostatečná specifičnost a omezená možnost zobecňování. Systémy AI, které zjišťují nebo odvozují emoce nebo záměry fyzických osob na základě jejich biometrických údajů, proto mohou vést k diskriminačním výsledkům a mohou zasahovat do práv a svobod dotčených osob. Vzhledem k nerovnováze moci v kontextu práce nebo vzdělávání ve spojení s invazivní povahou těchto systémů by tyto systémy mohly vést ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo celými skupinami fyzických osob. Uvádění na trh, uvádění do provozu nebo používání systémů AI určených k použití za účelem zjišťování emočního stavu jednotlivců v situacích souvisejících s prací a vzděláváním by proto mělo být zakázáno. Tento zákaz by se neměl vztahovat na systémy AI uváděné na trh výhradně z lékařských nebo bezpečnostních důvodů, jako jsou systémy určené k terapeutickému použití.