Erwägungsgrund 31

KI-Systeme, die eine soziale Bewertung natürlicher Personen durch öffentliche oder private Akteure bereitstellen, können zu diskriminierenden Ergebnissen und zur Ausgrenzung bestimmter Gruppen führen. Sie können die Menschenwürde und das Recht auf Nichtdiskriminierung sowie die Werte der Gleichheit und Gerechtigkeit verletzen. Solche KI-Systeme bewerten oder klassifizieren natürliche Personen oder Gruppen natürlicher Personen in einem bestimmten Zeitraum auf der Grundlage zahlreicher Datenpunkte in Bezug auf ihr soziales Verhalten in verschiedenen Zusammenhängen oder aufgrund bekannter, vermuteter oder vorhergesagter persönlicher Eigenschaften oder Persönlichkeitsmerkmale. Die aus solchen KI-Systemen erzielte soziale Bewertung kann zu einer Schlechterstellung oder Benachteiligung bestimmter natürlicher Personen oder ganzer Gruppen natürlicher Personen in sozialen Kontexten, die in keinem Zusammenhang mit den Umständen stehen, unter denen die Daten ursprünglich erzeugt oder erhoben wurden, oder zu einer Schlechterstellung führen, die im Hinblick auf die Tragweite ihres sozialen Verhaltens unverhältnismäßig oder ungerechtfertigt ist. KI-Systeme, die solche inakzeptablen Bewertungspraktiken mit sich bringen und zu einer solchen Schlechterstellung oder Benachteiligung führen, sollten daher verboten werden. Dieses Verbot sollte nicht die rechtmäßigen Praktiken zur Bewertung natürlicher Personen berühren, die im Einklang mit dem Unionsrecht und dem nationalen Recht zu einem bestimmten Zweck durchgeführt werden.

Systémy AI umožňující hodnocení sociálního kreditu fyzických osob ze strany veřejných či soukromých aktérů mohou vést k diskriminačním výsledkům a k vyloučení určitých skupin. Mohou porušovat právo na důstojnost a zákaz diskriminace a hodnoty rovnosti a spravedlnosti. Tyto systémy AI hodnotí nebo klasifikují fyzické osoby nebo skupiny fyzických osob na základě vícedatových bodů týkajících se jejich sociálního chování v různých kontextech nebo známých, odvozených či předvídaných osobních či osobnostních vlastností v průběhu určitého časového období. Sociální kredit získaný na základě těchto systémů AI může vést ke znevýhodňujícímu nebo nepříznivému zacházení s fyzickými osobami nebo s celými skupinami fyzických osob v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny, případně ke znevýhodňujícímu zacházení, které je nepřiměřené nebo neodůvodněné s ohledem na závažnost jejich sociálního chování. Systémy AI, které tyto nepřijatelné postupy hodnocení zahrnují a vedou k takovým znevýhodňujícím nebo nepříznivým výsledkům, by proto měly být zakázány. Tímto zákazem by neměly být dotčeny zákonné postupy posuzování fyzických osob prováděné za zvláštním účelem v souladu s unijním či vnitrostátním právem.