Recital 44

There are serious concerns about the scientific basis of AI systems aiming to identify or infer emotions, particularly as expression of emotions vary considerably across cultures and situations, and even within a single individual. Among the key shortcomings of such systems are the limited reliability, the lack of specificity and the limited generalisability. Therefore, AI systems identifying or inferring emotions or intentions of natural persons on the basis of their biometric data may lead to discriminatory outcomes and can be intrusive to the rights and freedoms of the concerned persons. Considering the imbalance of power in the context of work or education, combined with the intrusive nature of these systems, such systems could lead to detrimental or unfavourable treatment of certain natural persons or whole groups thereof. Therefore, the placing on the market, the putting into service, or the use of AI systems intended to be used to detect the emotional state of individuals in situations related to the workplace and education should be prohibited. That prohibition should not cover AI systems placed on the market strictly for medical or safety reasons, such as systems intended for therapeutical use.

La base scientifique des systèmes d’IA visant à identifier ou à inférer les émotions suscite de vives inquiétudes, d’autant plus que l’expression des émotions varie considérablement d’une culture et d’une situation à l’autre, comme d’ailleurs chez un même individu. Les principaux défauts de ces systèmes sont, entre autres, leur fiabilité limitée, leur manque de précision et leur généralisabilité limitée. Par conséquent, les systèmes d’IA qui identifient ou déduisent les émotions ou les intentions de personnes physiques sur la base de leurs données biométriques peuvent conduire à des résultats discriminatoires et peuvent être intrusifs pour les droits et libertés des personnes concernées. Si l’on considère le déséquilibre de pouvoir qui existe dans le cadre du travail ou de l’enseignement, combiné au caractère intrusif de ces systèmes, ces derniers risqueraient de déboucher sur le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes entiers de personnes physiques. Par conséquent, il convient d’interdire la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA destinés à être utilisés pour déterminer l’état émotionnel de personnes physiques dans des situations liées au lieu de travail et à l’enseignement. Cette interdiction ne devrait pas porter sur les systèmes d’IA mis sur le marché strictement pour des raisons médicales ou de sécurité, tels que les systèmes destinés à un usage thérapeutique.