Erwägungsgrund 31

KI-Systeme, die eine soziale Bewertung natürlicher Personen durch öffentliche oder private Akteure bereitstellen, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit verletzen. Solche KI-Systeme bewerten oder klassifizieren natürliche Personen oder Gruppen natürlicher Personen in einem bestimmten Zeitraum auf der Grundlage zahlreicher Datenpunkte in Bezug auf ihr soziales Verhalten in verschiedenen Zusammenhängen oder aufgrund bekannter, vermuteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Kontexten, die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden, oder zu einer Schlechterstellung führen, die im Hinblick auf die Tragweite ihres sozialen Verhaltens unverhältnismäßig oder ungerechtfertigt ist. KI-Systeme, die solche inakzeptablen Bewertungspraktiken mit sich bringen und zu einer solchen Schlechterstellung oder Benachteiligung führen, sollten daher verboten werden. Dieses Verbot sollte nicht die rechtmäßigen Praktiken zur Bewertung natürlicher Personen berühren, die im Einklang mit dem Unionsrecht und dem nationalen Recht zu einem bestimmten Zweck durchgeführt werden.

Systémy AI na sociálne bodovanie fyzických osôb používané orgánmi verejnej moci alebo súkromnými aktérmi môžu viesť k diskriminačným výsledkom a vylúčeniu určitých skupín. Môžu porušovať právo na dôstojnosť a nediskrimináciu a hodnoty rovnosti a spravodlivosti. Takéto systémy AI hodnotia alebo klasifikujú fyzické osoby alebo skupiny fyzických osôb na základe viacerých dátových bodov týkajúcich sa ich spoločenského správania vo viacerých kontextoch alebo známych, odvodených či predpokladaných osobných alebo osobnostných charakteristík za určité časové obdobia. Sociálne skóre získané na základe takýchto systémov AI môže viesť k škodlivému alebo nepriaznivému zaobchádzaniu s fyzickými osobami alebo celými skupinami takýchto osôb v sociálnych kontextoch nesúvisiacich s kontextom, v ktorom boli údaje pôvodne vygenerované alebo zhromaždené, prípadne k poškodzujúcemu zaobchádzaniu, ktoré je neprimerané alebo neodôvodnené vzhľadom na závažnosť ich spoločenského správania. Systémy AI, ktoré zahŕňajú takéto neprijateľné bodovacie praktiky a vedú k takýmto škodlivým alebo nepriaznivým výsledkom, by sa preto mali zakázať. Tento zákaz by nemal mať vplyv na zákonné postupy hodnotenia fyzických osôb vykonávané na špecifické účely v súlade s právom Únie a vnútroštátnym právom.