Bod odůvodnění 29

Manipulativní techniky založené na AI lze použít k přesvědčování osob k nežádoucímu chování nebo k jejich klamání tím, že je podněcují k přijímání rozhodnutí tak, že je podkopávána a narušována jejich autonomie, rozhodování a svobodná volba. Uvádění na trh nebo do provozu nebo používání určitých systémů AI s cílem podstatně ovlivnit lidské chování nebo s takovým účinkem, kdy je pravděpodobné, že bude dotčeným osobám způsobena značná újma, zejména pokud jde o dostatečně významné nepříznivé dopady na fyzické či psychické zdraví nebo finanční zájmy, je obzvláště nebezpečné, a proto by mělo být zakázáno. Tyto systémy AI využívají podprahové signály, jako jsou zvukové a obrazové stimuly a videostimuly, které člověk není schopen vnímat, neboť jsou mimo rámec lidského vnímání, nebo jiné manipulativní nebo klamavé techniky, které narušují nebo oslabují autonomii, schopnost rozhodování nebo svobodnou volbu člověka tak, že tento vliv vědomě nezaznamená, nebo pokud si jej uvědomí, přesto se nechá oklamat nebo není schopen tyto techniky ovlivnit nebo jim odolat. To by mohlo být usnadněno například rozhraními stroj–mozek nebo virtuální realitou, neboť umožňují větší kontrolu nad tím, jakým stimulům je jedinec vystaven, pokud mohou tyto stimuly značnou měrou a výrazně škodlivým způsobem narušit jejich chování. Systémy AI mohou kromě toho zneužívat zranitelnost jednotlivců či určité skupiny osob i jiným způsobem, z důvodu jejich věku, zdravotního postižení ve smyslu směrnice Evropského parlamentu a Rady (EU) 2019/882 ¹⁶ nebo zvláštní sociální nebo ekonomické situace, v jejímž důsledku mohou být tyto osoby, jako jsou osoby žijící v extrémní chudobě nebo etnické nebo náboženské menšiny, více zranitelné vůči zneužívání. Tyto systémy mohou být uváděny na trh nebo do provozu nebo používány s cílem podstatně ovlivnit chování určitého jednotlivce nebo s takovým účinkem, a to takovým způsobem, že je dotčenému jednotlivci nebo jiné osobě nebo skupinám osob způsobena značná újma nebo lze takovou újmu důvodně předpokládat, přičemž se může jednat i o újmy, které v průběhu času kumulují; proto by měly být tyto systémy zakázány. Může se stát, že úmysl ovlivnit chování není možné předpokládat, pokud je takovéto ovlivnění způsobeno faktory mimo systém AI, které jsou mimo kontrolu poskytovatele nebo zavádějícího subjektu, konkrétně pokud jde o faktory, které nemusí být rozumně předvídatelné, a tudíž je poskytovatel nebo subjekt zavádějící systém AI nemohou zmírnit. V každém případě nemusí mít poskytovatel nebo zavádějící subjekt v úmyslu způsobit značnou újmu, pokud tato újma vyplývá z manipulativních nebo vykořisťujících praktik založených na AI. Zákazy těchto praktik AI se doplňují ustanovení obsažená ve směrnici Evropského parlamentu a Rady 2005/29/ES ¹⁷, zejména pokud jde o to, že nekalé obchodní praktiky vedoucí k hospodářské nebo finanční újmě pro spotřebitele jsou zakázány za všech okolností bez ohledu na to, zda jsou zavedeny prostřednictvím systémů AI, nebo jinak. Zákazy manipulativních a vykořisťujících praktik stanovené v tomto nařízení by neměly mít vliv na zákonné postupy v souvislosti s lékařskou péčí, jako je psychologická léčba duševní nemoci nebo tělesná rehabilitace, jsou-li tyto praktiky prováděny v souladu s platným právem a lékařskými normami, například pokud jde o výslovný souhlas osob nebo jejich právních zástupců. Kromě toho by za škodlivé manipulativní praktiky založené na AI neměly být samy o sobě považovány běžné a legitimní obchodní praktiky, například v oblasti reklamy, které jsou v souladu s platným právem.

Techniki manipulacyjne oparte na AI mogą być wykorzystywane w celu nakłaniania osób do niepożądanych zachowań lub w celu wprowadzania ich w błąd poprzez skłanianie ich do podejmowania decyzji w sposób, który podważa i ogranicza ich autonomię, decyzyjność i swobodę wyboru. Wprowadzanie do obrotu, oddawanie do użytku lub wykorzystywanie niektórych systemów AI, których celem lub skutkiem jest znacząca zmiana ludzkiego zachowania, w związku z czym mogą wystąpić poważne szkody, w szczególności mające wystarczająco istotny niepożądany wpływ na zdrowie fizyczne, psychiczne lub na interesy finansowe, są szczególnie niebezpieczne i w związku z tym powinny być zakazane. Takie systemy AI wykorzystują elementy działające podprogowo, takie jak bodźce dźwiękowe, bodźce będące obrazami lub materiałami wideo, których nie można dostrzec, ponieważ bodźce takie wykraczają poza świadomą ludzką percepcję, lub stosują inne techniki manipulacyjne lub wprowadzające w błąd, które podważają lub ograniczają autonomię człowieka, decyzyjność lub swobodę wyboru w taki sposób, że osoby nie są świadome takich technik lub nawet jeśli są ich świadome, mogą zostać wprowadzone w błąd lub nie są w stanie sprawować nad nimi kontroli ani im się sprzeciwić. Przyczyniać się do tego mogą na przykład interfejsy maszyna-mózg lub rzeczywistość wirtualna, ponieważ pozwalają one na większą kontrolę nad tym, jakim bodźcom są poddawane osoby, do tego stopnia, że mogą one znacząco zmieniać zachowanie tych osób w sposób znacząco szkodliwy. Ponadto systemy AI mogą również w inny sposób wykorzystywać słabości danej osoby lub określonej grupy osób ze względu na ich wiek, niepełnosprawność w rozumieniu dyrektywy Parlamentu Europejskiego i Rady (UE) 2019/882 ¹⁶ lub szczególną sytuację społeczną lub ekonomiczną, która może sprawić, że osoby te, takie jak osoby żyjące w skrajnym ubóstwie, osoby z mniejszości etnicznych lub religijnych, będą bardziej narażone na ich wykorzystanie. Takie systemy AI mogą być wprowadzane do obrotu, oddawane do użytku lub wykorzystywane w celu lub ze skutkiem znaczącej zmiany zachowania danej osoby, oraz w sposób, który wyrządza lub może z uzasadnionym prawdopodobieństwem wyrządzić poważną szkodę tej osoby lub innej osoby lub grupy osób, w tym szkody kumulujące się z biegiem czasu, i w związku z tym powinny być zakazane. Nie można zakładać, że zaistniał zamiar dokonania zmiany zachowania, jeżeli zmiana ta wynika z czynników, które mają charakter zewnętrzny w stosunku do systemu AI i które są poza kontrolą dostawcy lub podmiotu stosującego, a zatem ani dostawca ani podmiot stosujący AI nie mogą ich racjonalnie przewidzieć ani im przeciwdziałać. W każdym razie nie ma znaczenia, czy dostawca lub podmiot stosujący mieli zamiar wyrządzić poważną szkodę, istotny jest fakt, że szkoda wynika z praktyk manipulacyjnych opartych na AI lub ich wykorzystywania. Zakazy dotyczące takich praktyk w zakresie AI stanowią uzupełnienie przepisów zawartych w dyrektywie Parlamentu Europejskiego i Rady 2005/29/WE ¹⁷, w szczególności przepisu zakazującego stosowania we wszelkich okolicznościach nieuczciwych praktyk handlowych powodujących dla konsumentów szkody ekonomiczne lub finansowe, niezależnie od tego, czy praktyki te stosuje się za pomocą systemów AI czy w innym kontekście. Zawarty w niniejszym rozporządzeniu zakaz praktyk polegających na manipulacji lub wykorzystywaniu nie powinien mieć wpływu na zgodne z prawem praktyki w kontekście leczenia, takie jak terapia psychologiczna w związku z chorobą psychiczną lub rehabilitacja fizyczna, gdy praktyki te są prowadzone zgodnie z mającymi zastosowanie prawem i normami medycznymi, na przykład za wyraźną zgodą danej osoby fizycznej lub jej przedstawiciela prawnego. Ponadto powszechne i zasadne praktyki handlowe, na przykład w dziedzinie reklamy, które są zgodne z mającym zastosowanie prawem, nie powinny być same w sobie uznawane za szkodliwe praktyki manipulacyjne oparte na AI.