Bod odůvodnění 44

Existují vážné obavy ohledně vědeckého základu systémů AI, jejichž cílem je zjišťovat nebo odvozovat emoce, zejména z toho důvodu, že vyjádření emocí se v jednotlivých kulturách a situacích značně liší, a dokonce i u téhož jednotlivce. Mezi hlavní nedostatky těchto systémů patří omezená spolehlivost, nedostatečná specifičnost a omezená možnost zobecňování. Systémy AI, které zjišťují nebo odvozují emoce nebo záměry fyzických osob na základě jejich biometrických údajů, proto mohou vést k diskriminačním výsledkům a mohou zasahovat do práv a svobod dotčených osob. Vzhledem k nerovnováze moci v kontextu práce nebo vzdělávání ve spojení s invazivní povahou těchto systémů by tyto systémy mohly vést ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo celými skupinami fyzických osob. Uvádění na trh, uvádění do provozu nebo používání systémů AI určených k použití za účelem zjišťování emočního stavu jednotlivců v situacích souvisejících s prací a vzděláváním by proto mělo být zakázáno. Tento zákaz by se neměl vztahovat na systémy AI uváděné na trh výhradně z lékařských nebo bezpečnostních důvodů, jako jsou systémy určené k terapeutickému použití.

Existujú vážne obavy v súvislosti s vedeckým základom systémov AI, ktorých cieľom je identifikovať alebo odvodzovať emócie, najmä preto, že prejav emócií sa v jednotlivých kultúrach a situáciách a dokonca aj v prípade jedného jednotlivca značne líši. Medzi hlavné nedostatky takýchto systémov patrí obmedzená spoľahlivosť, nedostatočná špecifickosť a obmedzená možnosť zovšeobecnenia. Systémy AI, ktoré identifikujú alebo odvodzujú emócie alebo zámery fyzických osôb na základe ich biometrických údajov, preto môžu viesť k diskriminačným výsledkom a môžu zasahovať do práv a slobôd dotknutých osôb. Vzhľadom na nerovnováhu moci v kontexte práce alebo vzdelávania v kombinácii s rušivým charakterom týchto systémov by takéto systémy mohli viesť k škodlivému alebo nepriaznivému zaobchádzaniu s niektorými fyzickými osobami alebo celými skupinami fyzických osôb. Preto by sa malo zakázať uvádzanie na trh, uvádzanie do prevádzky alebo používanie systémov AI na zisťovanie emocionálneho stavu jednotlivcov v situáciách súvisiacich s pracoviskom a vzdelávaním. Tento zákaz by sa nemal vzťahovať na systémy AI uvádzané na trh výlučne zo zdravotných alebo bezpečnostných dôvodov, ako sú systémy určené na terapeutické použitie.