Odôvodnenie 29

Manipulatívne techniky, ktoré umožňuje AI, sa môžu použiť na presviedčanie osôb, aby sa správali neželaným spôsobom, alebo na ich zavádzanie nabádaním na rozhodnutia spôsobom, ktorý narúša a oslabuje ich samostatnosť, rozhodovacie schopnosti a slobodnú voľbu. Uvádzanie na trh, uvádzanie do prevádzky alebo používanie určitých systémov AI, ktorých cieľom alebo účinkom je podstatné narušenie ľudského správania, pri ktorom je pravdepodobné, že dôjde k značnej ujme, najmä dostatočne závažným nepriaznivým vplyvom na fyzické zdravie, psychické zdravie alebo finančné záujmy, je obzvlášť nebezpečné a malo by sa preto zakázať. Takéto systémy AI využívajú podprahové komponenty, ako sú zvukové a obrazové podnety alebo videopodnety, ktoré osoby nemôžu vnímať, keďže tieto podnety sú mimo ľudského vnímania, alebo iné manipulatívne alebo klamlivé techniky, ktoré narúšajú alebo oslabujú samostatnosť, rozhodovacie schopnosti alebo slobodnú voľbu osôb takým spôsobom, že si ľudia tieto techniky neuvedomujú, alebo ak si ich uvedomujú, napriek tomu môžu byť zavádzaní alebo nie sú schopní ich ovládať alebo im odolávať. To by sa mohlo uľahčiť napríklad rozhraniami medzi strojom a mozgom alebo virtuálnou realitou, pretože umožňujú vyšší stupeň kontroly toho, akým stimulom sú osoby vystavené, pokiaľ môžu výrazne škodlivým a podstatným spôsobom narušiť ich správanie. Systémy AI môžu okrem toho aj iným spôsobom zneužívať zraniteľnosti osôb alebo osobitných skupín osôb z dôvodu ich veku, zdravotného postihnutia v zmysle smernice Európskeho parlamentu a Rady (EÚ) 2019/882 ¹⁶ alebo osobitnej sociálnej alebo ekonomickej situácie, v dôsledku čoho môžu byť tieto osoby zraniteľnejšie voči zneužívaniu, ako napríklad osoby žijúce v extrémnej chudobe, etnické alebo náboženské menšiny. Takéto systémy AI sa môžu uvádzať na trh, uvádzať do prevádzky alebo používať s cieľom alebo účinkom podstatného narušenia správania osoby spôsobom, ktorý spôsobuje alebo pri ktorom je odôvodnené predpokladať, že spôsobí značnú ujmu tejto alebo inej osobe alebo skupinám osôb vrátane škôd, ktoré sa môžu časom kumulovať, a preto by sa mali zakázať. Môže sa stať, že úmysel narušiť správanie nie je možné predpokladať, ak narušenie vyplýva z faktorov mimo systému AI, ktoré nie sú pod kontrolou poskytovateľa alebo nasadzujúceho subjektu, konkrétne faktorov, ktoré poskytovateľ systému AI alebo subjekt nasadzujúci systém AI nemôže odôvodnene predvídať, a teda zmierňovať. V každom prípade nie je potrebné, aby poskytovateľ alebo subjekt nasadzujúci systém AI mal úmysel spôsobiť značnú ujmu, pokiaľ takáto ujma vyplýva z manipulatívnych alebo zneužívajúcich praktík využívajúcich AI. Zákazmi takýchto praktík využívajúcich AI sa dopĺňajú ustanovenia smernice Európskeho parlamentu a Rady 2005/29/ES ¹⁷, najmä to, že nekalé obchodné praktiky vedúce k hospodárskej alebo finančnej ujme pre spotrebiteľov sú zakázané za každých okolností bez ohľadu na to, či sú zavedené prostredníctvom systémov AI alebo inak. Zákazmi manipulatívnych a zneužívajúcich praktík v tomto nariadení by nemali byť dotknuté zákonné postupy v súvislosti s liečbou, ako je psychologická liečba duševnej choroby alebo fyzická rehabilitácia, ak sa tieto praktiky vykonávajú v súlade s platnými lekárskymi normami a právnymi predpismi, napríklad výslovný súhlas fyzických osôb alebo ich právnych zástupcov. Okrem toho by sa bežné a legitímne obchodné praktiky, napríklad v oblasti reklamy, ktoré sú v súlade s uplatniteľným právom, nemali samy osebe považovať za škodlivé manipulatívne praktiky využívajúce AI.

KI-gestützte manipulative Techniken können dazu verwendet werden, Personen zu unerwünschten Verhaltensweisen zu bewegen oder sie zu täuschen, indem sie in einer Weise zu Entscheidungen angeregt werden, die ihre Autonomie, Entscheidungsfindung und freie Auswahl untergräbt und beeinträchtigt. Das Inverkehrbringen, die Inbetriebnahme oder die Verwendung bestimmter KI-Systeme, die das Ziel oder die Auswirkung haben, menschliches Verhalten maßgeblich nachteilig zu beeinflussen, und große Schäden, insbesondere erhebliche nachteilige Auswirkungen auf die physische und psychische Gesundheit oder auf die finanziellen Interessen verursachen dürften, ist besonders gefährlich und sollte dementsprechend verboten werden. Solche KI-Systeme setzen auf eine unterschwellige Beeinflussung, beispielweise durch Reize in Form von Ton-, Bild- oder Videoinhalten, die für Menschen nicht erkennbar sind, da diese Reize außerhalb ihres Wahrnehmungsbereichs liegen, oder auf andere Arten manipulativer oder täuschender Beeinflussung, die ihre Autonomie, Entscheidungsfindung oder freie Auswahl in einer Weise untergraben und beeinträchtigen, die sich ihrer bewussten Wahrnehmung entzieht oder deren Einfluss — selbst wenn sie sich seiner bewusst sind — sie nicht kontrollieren oder widerstehen können. Dies könnte beispielsweise durch Gehirn-Computer-Schnittstellen oder virtuelle Realität erfolgen, da diese ein höheres Maß an Kontrolle darüber ermöglichen, welche Reize den Personen, insofern diese das Verhalten der Personen in erheblichem Maße schädlich beeinflussen können, angeboten werden. Ferner können KI-Systeme auch anderweitig die Vulnerabilität einer Person oder bestimmter Gruppen von Personen aufgrund ihres Alters oder einer Behinderung im Sinne der Richtlinie (EU) 2019/882 des Europäischen Parlaments und des Rates ¹⁶ oder aufgrund einer bestimmten sozialen oder wirtschaftlichen Situation ausnutzen, durch die diese Personen gegenüber einer Ausnutzung anfälliger werden dürften, beispielweise Personen, die in extremer Armut leben, und ethnische oder religiöse Minderheiten. Solche KI-Systeme können mit dem Ziel oder der Wirkung in Verkehr gebracht, in Betrieb genommen oder verwendet werden, das Verhalten einer Person in einer Weise wesentlich zu beeinflussen, die dieser Person oder einer anderen Person oder Gruppen von Personen einen erheblichen Schaden zufügt oder mit hinreichender Wahrscheinlichkeit zufügen wird, einschließlich Schäden, die sich im Laufe der Zeit anhäufen können, und sollten daher verboten werden. Diese Absicht, das Verhalten zu beeinflussen, kann nicht vermutet werden, wenn die Beeinflussung auf Faktoren zurückzuführen ist, die nicht Teil des KI-Systems sind und außerhalb der Kontrolle des Anbieters oder Betreibers liegen, d. h. Faktoren, die vom Anbieter oder Betreiber des KI-Systems vernünftigerweise nicht vorhergesehen oder gemindert werden können. In jedem Fall ist es nicht erforderlich, dass der Anbieter oder der Betreiber die Absicht haben, erheblichen Schaden zuzufügen, wenn dieser Schaden aufgrund von manipulativen oder ausbeuterischen KI-gestützten Praktiken entsteht. Das Verbot solcher KI-Praktiken ergänzt die Bestimmungen der Richtlinie 2005/29/EG des Europäischen Parlaments und des Rates ¹⁷; insbesondere sind unlautere Geschäftspraktiken, durch die Verbraucher wirtschaftliche oder finanzielle Schäden erleiden, unter allen Umständen verboten, unabhängig davon, ob sie durch KI-Systeme oder anderweitig umgesetzt werden. Das Verbot manipulativer und ausbeuterischer Praktiken gemäß dieser Verordnung sollte sich nicht auf rechtmäßige Praktiken im Zusammenhang mit medizinischen Behandlungen, etwa der psychologischen Behandlung einer psychischen Krankheit oder der physischen Rehabilitation, auswirken, wenn diese Praktiken gemäß den geltenden Rechtsvorschriften und medizinischen Standards erfolgen, z. B mit der ausdrücklichen Zustimmung der Einzelpersonen oder ihrer gesetzlichen Vertreter. Darüber hinaus sollten übliche und rechtmäßige Geschäftspraktiken, beispielsweise im Bereich der Werbung, die im Einklang mit den geltenden Rechtsvorschriften stehen, als solche nicht als schädliche manipulative KI-gestützten Praktiken gelten.