Considérant 44

La base scientifique des systèmes d’IA visant à identifier ou à inférer les émotions suscite de vives inquiétudes, d’autant plus que l’expression des émotions varie considérablement d’une culture et d’une situation à l’autre, comme d’ailleurs chez un même individu. Les principaux défauts de ces systèmes sont, entre autres, leur fiabilité limitée, leur manque de précision et leur généralisabilité limitée. Par conséquent, les systèmes d’IA qui identifient ou déduisent les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et libertés des personnes concernées. Si l’on considère le déséquilibre de pouvoir qui existe dans le cadre du travail ou de l’enseignement, combiné au caractère intrusif de ces systèmes, ces derniers risqueraient de déboucher sur le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques. Par conséquent, il convient d’interdire la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés pour déterminer l’état émotionnel de personnes physiques dans des situations liées au lieu de travail et à l’enseignement. Cette interdiction ne devrait pas porter sur les systèmes d’IA mis sur le marché strictement pour des raisons médicales ou de sécurité, tels que les systèmes destinés à un usage thérapeutique.

Existují vážné obavy ohledně vědeckého základu systémů AI, jejichž cílem je zjišťovat nebo odvozovat emoce, zejména z toho důvodu, že vyjádření emocí se v jednotlivých kulturách a situacích značně liší, a dokonce i u téhož jednotlivce. Mezi hlavní nedostatky těchto systémů patří omezená spolehlivost, nedostatečná specifičnost a omezená možnost zobecňování. Systémy AI, které zjišťují nebo odvozují emoce nebo záměry fyzických osob na základě jejich biometrických údajů, proto mohou vést k diskriminačním výsledkům a mohou zasahovat do práv a svobod dotčených osob. Vzhledem k nerovnováze moci v kontextu práce nebo vzdělávání ve spojení s invazivní povahou těchto systémů by tyto systémy mohly vést ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo celými skupinami fyzických osob. Uvádění na trh, uvádění do provozu nebo používání systémů AI určených k použití za účelem zjišťování emočního stavu jednotlivců v situacích souvisejících s prací a vzděláváním by proto mělo být zakázáno. Tento zákaz by se neměl vztahovat na systémy AI uváděné na trh výhradně z lékařských nebo bezpečnostních důvodů, jako jsou systémy určené k terapeutickému použití.