Motyw 29

Techniki manipulacyjne oparte na AI mogą być wykorzystywane w celu nakłaniania osób do niepożądanych zachowań lub w celu wprowadzania ich w błąd poprzez skłanianie ich do podejmowania decyzji w sposób, który podważa i ogranicza ich autonomię, decyzyjność i swobodę wyboru. Wprowadzanie do obrotu, oddawanie do użytku lub wykorzystywanie niektórych systemów AI, których celem lub skutkiem jest znacząca zmiana ludzkiego zachowania, w związku z czym mogą wystąpić poważne szkody, w szczególności mające wystarczająco istotny niepożądany wpływ na zdrowie fizyczne, psychiczne lub na interesy finansowe, są szczególnie niebezpieczne i w związku z tym powinny być zakazane. Takie systemy AI wykorzystują elementy działające podprogowo, takie jak bodźce dźwiękowe, bodźce będące obrazami lub materiałami wideo, których nie można dostrzec, ponieważ bodźce takie wykraczają poza świadomą ludzką percepcję, lub stosują inne techniki manipulacyjne lub wprowadzające w błąd, które podważają lub ograniczają autonomię człowieka, decyzyjność lub swobodę wyboru w taki sposób, że osoby nie są świadome takich technik lub nawet jeśli są ich świadome, mogą zostać wprowadzone w błąd lub nie są w stanie sprawować nad nimi kontroli ani im się sprzeciwić. Przyczyniać się do tego mogą na przykład interfejsy maszyna-mózg lub rzeczywistość wirtualna, ponieważ pozwalają one na większą kontrolę nad tym, jakim bodźcom są poddawane osoby, do tego stopnia, że mogą one znacząco zmieniać zachowanie tych osób w sposób znacząco szkodliwy. Ponadto systemy AI mogą również w inny sposób wykorzystywać słabości danej osoby lub określonej grupy osób ze względu na ich wiek, niepełnosprawność w rozumieniu dyrektywy Parlamentu Europejskiego i Rady (UE) 2019/882 ¹⁶ lub szczególną sytuację społeczną lub ekonomiczną, która może sprawić, że osoby te, takie jak osoby żyjące w skrajnym ubóstwie, osoby z mniejszości etnicznych lub religijnych, będą bardziej narażone na ich wykorzystanie. Takie systemy AI mogą być wprowadzane do obrotu, oddawane do użytku lub wykorzystywane w celu lub ze skutkiem znaczącej zmiany zachowania danej osoby, oraz w sposób, który wyrządza lub może z uzasadnionym prawdopodobieństwem wyrządzić poważną szkodę tej osoby lub innej osoby lub grupy osób, w tym szkody kumulujące się z biegiem czasu, i w związku z tym powinny być zakazane. Nie można zakładać, że zaistniał zamiar dokonania zmiany zachowania, jeżeli zmiana ta wynika z czynników, które mają charakter zewnętrzny w stosunku do systemu AI i które są poza kontrolą dostawcy lub podmiotu stosującego, a zatem ani dostawca ani podmiot stosujący AI nie mogą ich racjonalnie przewidzieć ani im przeciwdziałać. W każdym razie nie ma znaczenia, czy dostawca lub podmiot stosujący mieli zamiar wyrządzić poważną szkodę, istotny jest fakt, że szkoda wynika z praktyk manipulacyjnych opartych na AI lub ich wykorzystywania. Zakazy dotyczące takich praktyk w zakresie AI stanowią uzupełnienie przepisów zawartych w dyrektywie Parlamentu Europejskiego i Rady 2005/29/WE ¹⁷, w szczególności przepisu zakazującego stosowania we wszelkich okolicznościach nieuczciwych praktyk handlowych powodujących dla konsumentów szkody ekonomiczne lub finansowe, niezależnie od tego, czy praktyki te stosuje się za pomocą systemów AI czy w innym kontekście. Zawarty w niniejszym rozporządzeniu zakaz praktyk polegających na manipulacji lub wykorzystywaniu nie powinien mieć wpływu na zgodne z prawem praktyki w kontekście leczenia, takie jak terapia psychologiczna w związku z chorobą psychiczną lub rehabilitacja fizyczna, gdy praktyki te są prowadzone zgodnie z mającymi zastosowanie prawem i normami medycznymi, na przykład za wyraźną zgodą danej osoby fizycznej lub jej przedstawiciela prawnego. Ponadto powszechne i zasadne praktyki handlowe, na przykład w dziedzinie reklamy, które są zgodne z mającym zastosowanie prawem, nie powinny być same w sobie uznawane za szkodliwe praktyki manipulacyjne oparte na AI.

Manipulatívne techniky, ktoré umožňuje AI, sa môžu použiť na presviedčanie osôb, aby sa správali neželaným spôsobom, alebo na ich zavádzanie nabádaním na rozhodnutia spôsobom, ktorý narúša a oslabuje ich samostatnosť, rozhodovacie schopnosti a slobodnú voľbu. Uvádzanie na trh, uvádzanie do prevádzky alebo používanie určitých systémov AI, ktorých cieľom alebo účinkom je podstatné narušenie ľudského správania, pri ktorom je pravdepodobné, že dôjde k značnej ujme, najmä dostatočne závažným nepriaznivým vplyvom na fyzické zdravie, psychické zdravie alebo finančné záujmy, je obzvlášť nebezpečné a malo by sa preto zakázať. Takéto systémy AI využívajú podprahové komponenty, ako sú zvukové a obrazové podnety alebo videopodnety, ktoré osoby nemôžu vnímať, keďže tieto podnety sú mimo ľudského vnímania, alebo iné manipulatívne alebo klamlivé techniky, ktoré narúšajú alebo oslabujú samostatnosť, rozhodovacie schopnosti alebo slobodnú voľbu osôb takým spôsobom, že si ľudia tieto techniky neuvedomujú, alebo ak si ich uvedomujú, napriek tomu môžu byť zavádzaní alebo nie sú schopní ich ovládať alebo im odolávať. To by sa mohlo uľahčiť napríklad rozhraniami medzi strojom a mozgom alebo virtuálnou realitou, pretože umožňujú vyšší stupeň kontroly toho, akým stimulom sú osoby vystavené, pokiaľ môžu výrazne škodlivým a podstatným spôsobom narušiť ich správanie. Systémy AI môžu okrem toho aj iným spôsobom zneužívať zraniteľnosti osôb alebo osobitných skupín osôb z dôvodu ich veku, zdravotného postihnutia v zmysle smernice Európskeho parlamentu a Rady (EÚ) 2019/882 ¹⁶ alebo osobitnej sociálnej alebo ekonomickej situácie, v dôsledku čoho môžu byť tieto osoby zraniteľnejšie voči zneužívaniu, ako napríklad osoby žijúce v extrémnej chudobe, etnické alebo náboženské menšiny. Takéto systémy AI sa môžu uvádzať na trh, uvádzať do prevádzky alebo používať s cieľom alebo účinkom podstatného narušenia správania osoby spôsobom, ktorý spôsobuje alebo pri ktorom je odôvodnené predpokladať, že spôsobí značnú ujmu tejto alebo inej osobe alebo skupinám osôb vrátane škôd, ktoré sa môžu časom kumulovať, a preto by sa mali zakázať. Môže sa stať, že úmysel narušiť správanie nie je možné predpokladať, ak narušenie vyplýva z faktorov mimo systému AI, ktoré nie sú pod kontrolou poskytovateľa alebo nasadzujúceho subjektu, konkrétne faktorov, ktoré poskytovateľ systému AI alebo subjekt nasadzujúci systém AI nemôže odôvodnene predvídať, a teda zmierňovať. V každom prípade nie je potrebné, aby poskytovateľ alebo subjekt nasadzujúci systém AI mal úmysel spôsobiť značnú ujmu, pokiaľ takáto ujma vyplýva z manipulatívnych alebo zneužívajúcich praktík využívajúcich AI. Zákazmi takýchto praktík využívajúcich AI sa dopĺňajú ustanovenia smernice Európskeho parlamentu a Rady 2005/29/ES ¹⁷, najmä to, že nekalé obchodné praktiky vedúce k hospodárskej alebo finančnej ujme pre spotrebiteľov sú zakázané za každých okolností bez ohľadu na to, či sú zavedené prostredníctvom systémov AI alebo inak. Zákazmi manipulatívnych a zneužívajúcich praktík v tomto nariadení by nemali byť dotknuté zákonné postupy v súvislosti s liečbou, ako je psychologická liečba duševnej choroby alebo fyzická rehabilitácia, ak sa tieto praktiky vykonávajú v súlade s platnými lekárskymi normami a právnymi predpismi, napríklad výslovný súhlas fyzických osôb alebo ich právnych zástupcov. Okrem toho by sa bežné a legitímne obchodné praktiky, napríklad v oblasti reklamy, ktoré sú v súlade s uplatniteľným právom, nemali samy osebe považovať za škodlivé manipulatívne praktiky využívajúce AI.