Motyw 31

Systemy AI, które umożliwiają prowadzenie przez podmioty publiczne lub prywatne scoringu społecznego, mogą prowadzić do wyników stanowiących dyskryminację i do wykluczenia pewnych grup. Mogą one naruszać prawo do godności i niedyskryminacji oraz wartości, jakimi są równość i sprawiedliwość. Takie systemy AI oceniają lub klasyfikują osoby fizyczne lub grupy osób fizycznych na podstawie wielu punktów danych dotyczących ich zachowań społecznych w wielu kontekstach lub na podstawie znanych, wywnioskowanych lub przewidywanych cech osobistych lub cech osobowości w określonych przedziałach czasowych. Scoring społeczny uzyskany w rezultacie działania takich systemów AI może prowadzić do krzywdzącego lub niekorzystnego traktowania osób fizycznych lub całych grup osób fizycznych w kontekstach społecznych, które nie są związane z kontekstem, w którym pierwotnie wygenerowano lub zgromadzono dane, lub do krzywdzącego traktowania, które jest nieproporcjonalne lub nieuzasadnione w stosunku do wagi ich zachowań społecznych. Należy zatem zakazać systemów AI, w których stosuje się takie niedopuszczalne praktyki scoringu, które przynoszą takie krzywdzące lub niekorzystne wyniki. Zakaz ten nie powinien mieć wpływu na zgodne z prawem praktyki oceny osób fizycznych, które są stosowane w konkretnym celu zgodnie z prawem Unii i prawem krajowym.

Les systèmes d’IA permettant la notation sociale des personnes physiques par des acteurs publics ou privés peuvent conduire à des résultats discriminatoires et à l’exclusion de certains groupes. Ils peuvent porter atteinte au droit à la dignité et à la non-discrimination et sont contraires aux valeurs d’égalité et de justice. Ces systèmes d’IA évaluent ou classent les personnes physiques ou les groupes de personnes physiques en fonction de plusieurs points de données liées à leur comportement social dans divers contextes ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites pendant un certain temps. La note sociale obtenue à partir de ces systèmes d’IA peut conduire au traitement préjudiciable ou défavorable de personnes physiques ou de groupes entiers dans des contextes sociaux qui sont dissociés du contexte dans lequel les données ont été initialement générées ou collectées, ou à un traitement préjudiciable disproportionné ou injustifié au regard de la gravité de leur comportement social. Il y a donc lieu d’interdire les systèmes d’IA impliquant de telles pratiques de notation inacceptables et produisant de tels effets préjudiciables ou défavorables. Cette interdiction ne devrait pas avoir d’incidence sur les évaluations licites des personnes physiques qui sont pratiquées dans un but précis, dans le respect du droit de l’Union et du droit national.