Bod odůvodnění 29

Manipulativní techniky založené na AI lze použít k přesvědčování osob k nežádoucímu chování nebo k jejich klamání tím, že je podněcují k přijímání rozhodnutí tak, že je podkopávána a narušována jejich autonomie, rozhodování a svobodná volba. Uvádění na trh nebo do provozu nebo používání určitých systémů AI s cílem podstatně ovlivnit lidské chování nebo s takovým účinkem, kdy je pravděpodobné, že bude dotčeným osobám způsobena značná újma, zejména pokud jde o dostatečně významné nepříznivé dopady na fyzické či psychické zdraví nebo finanční zájmy, je obzvláště nebezpečné, a proto by mělo být zakázáno. Tyto systémy AI využívají podprahové signály, jako jsou zvukové a obrazové stimuly a videostimuly, které člověk není schopen vnímat, neboť jsou mimo rámec lidského vnímání, nebo jiné manipulativní nebo klamavé techniky, které narušují nebo oslabují autonomii, schopnost rozhodování nebo svobodnou volbu člověka tak, že tento vliv vědomě nezaznamená, nebo pokud si jej uvědomí, přesto se nechá oklamat nebo není schopen tyto techniky ovlivnit nebo jim odolat. To by mohlo být usnadněno například rozhraními stroj–mozek nebo virtuální realitou, neboť umožňují větší kontrolu nad tím, jakým stimulům je jedinec vystaven, pokud mohou tyto stimuly značnou měrou a výrazně škodlivým způsobem narušit jejich chování. Systémy AI mohou kromě toho zneužívat zranitelnost jednotlivců či určité skupiny osob i jiným způsobem, z důvodu jejich věku, zdravotního postižení ve smyslu směrnice Evropského parlamentu a Rady (EU) 2019/882 ¹⁶ nebo zvláštní sociální nebo ekonomické situace, v jejímž důsledku mohou být tyto osoby, jako jsou osoby žijící v extrémní chudobě nebo etnické nebo náboženské menšiny, více zranitelné vůči zneužívání. Tyto systémy mohou být uváděny na trh nebo do provozu nebo používány s cílem podstatně ovlivnit chování určitého jednotlivce nebo s takovým účinkem, a to takovým způsobem, že je dotčenému jednotlivci nebo jiné osobě nebo skupinám osob způsobena značná újma nebo lze takovou újmu důvodně předpokládat, přičemž se může jednat i o újmy, které v průběhu času kumulují; proto by měly být tyto systémy zakázány. Může se stát, že úmysl ovlivnit chování není možné předpokládat, pokud je takovéto ovlivnění způsobeno faktory mimo systém AI, které jsou mimo kontrolu poskytovatele nebo zavádějícího subjektu, konkrétně pokud jde o faktory, které nemusí být rozumně předvídatelné, a tudíž je poskytovatel nebo subjekt zavádějící systém AI nemohou zmírnit. V každém případě nemusí mít poskytovatel nebo zavádějící subjekt v úmyslu způsobit značnou újmu, pokud tato újma vyplývá z manipulativních nebo vykořisťujících praktik založených na AI. Zákazy těchto praktik AI se doplňují ustanovení obsažená ve směrnici Evropského parlamentu a Rady 2005/29/ES ¹⁷, zejména pokud jde o to, že nekalé obchodní praktiky vedoucí k hospodářské nebo finanční újmě pro spotřebitele jsou zakázány za všech okolností bez ohledu na to, zda jsou zavedeny prostřednictvím systémů AI, nebo jinak. Zákazy manipulativních a vykořisťujících praktik stanovené v tomto nařízení by neměly mít vliv na zákonné postupy v souvislosti s lékařskou péčí, jako je psychologická léčba duševní nemoci nebo tělesná rehabilitace, jsou-li tyto praktiky prováděny v souladu s platným právem a lékařskými normami, například pokud jde o výslovný souhlas osob nebo jejich právních zástupců. Kromě toho by za škodlivé manipulativní praktiky založené na AI neměly být samy o sobě považovány běžné a legitimní obchodní praktiky, například v oblasti reklamy, které jsou v souladu s platným právem.

Manipulatívne techniky, ktoré umožňuje AI, sa môžu použiť na presviedčanie osôb, aby sa správali neželaným spôsobom, alebo na ich zavádzanie nabádaním na rozhodnutia spôsobom, ktorý narúša a oslabuje ich samostatnosť, rozhodovacie schopnosti a slobodnú voľbu. Uvádzanie na trh, uvádzanie do prevádzky alebo používanie určitých systémov AI, ktorých cieľom alebo účinkom je podstatné narušenie ľudského správania, pri ktorom je pravdepodobné, že dôjde k značnej ujme, najmä dostatočne závažným nepriaznivým vplyvom na fyzické zdravie, psychické zdravie alebo finančné záujmy, je obzvlášť nebezpečné a malo by sa preto zakázať. Takéto systémy AI využívajú podprahové komponenty, ako sú zvukové a obrazové podnety alebo videopodnety, ktoré osoby nemôžu vnímať, keďže tieto podnety sú mimo ľudského vnímania, alebo iné manipulatívne alebo klamlivé techniky, ktoré narúšajú alebo oslabujú samostatnosť, rozhodovacie schopnosti alebo slobodnú voľbu osôb takým spôsobom, že si ľudia tieto techniky neuvedomujú, alebo ak si ich uvedomujú, napriek tomu môžu byť zavádzaní alebo nie sú schopní ich ovládať alebo im odolávať. To by sa mohlo uľahčiť napríklad rozhraniami medzi strojom a mozgom alebo virtuálnou realitou, pretože umožňujú vyšší stupeň kontroly toho, akým stimulom sú osoby vystavené, pokiaľ môžu výrazne škodlivým a podstatným spôsobom narušiť ich správanie. Systémy AI môžu okrem toho aj iným spôsobom zneužívať zraniteľnosti osôb alebo osobitných skupín osôb z dôvodu ich veku, zdravotného postihnutia v zmysle smernice Európskeho parlamentu a Rady (EÚ) 2019/882 ¹⁶ alebo osobitnej sociálnej alebo ekonomickej situácie, v dôsledku čoho môžu byť tieto osoby zraniteľnejšie voči zneužívaniu, ako napríklad osoby žijúce v extrémnej chudobe, etnické alebo náboženské menšiny. Takéto systémy AI sa môžu uvádzať na trh, uvádzať do prevádzky alebo používať s cieľom alebo účinkom podstatného narušenia správania osoby spôsobom, ktorý spôsobuje alebo pri ktorom je odôvodnené predpokladať, že spôsobí značnú ujmu tejto alebo inej osobe alebo skupinám osôb vrátane škôd, ktoré sa môžu časom kumulovať, a preto by sa mali zakázať. Môže sa stať, že úmysel narušiť správanie nie je možné predpokladať, ak narušenie vyplýva z faktorov mimo systému AI, ktoré nie sú pod kontrolou poskytovateľa alebo nasadzujúceho subjektu, konkrétne faktorov, ktoré poskytovateľ systému AI alebo subjekt nasadzujúci systém AI nemôže odôvodnene predvídať, a teda zmierňovať. V každom prípade nie je potrebné, aby poskytovateľ alebo subjekt nasadzujúci systém AI mal úmysel spôsobiť značnú ujmu, pokiaľ takáto ujma vyplýva z manipulatívnych alebo zneužívajúcich praktík využívajúcich AI. Zákazmi takýchto praktík využívajúcich AI sa dopĺňajú ustanovenia smernice Európskeho parlamentu a Rady 2005/29/ES ¹⁷, najmä to, že nekalé obchodné praktiky vedúce k hospodárskej alebo finančnej ujme pre spotrebiteľov sú zakázané za každých okolností bez ohľadu na to, či sú zavedené prostredníctvom systémov AI alebo inak. Zákazmi manipulatívnych a zneužívajúcich praktík v tomto nariadení by nemali byť dotknuté zákonné postupy v súvislosti s liečbou, ako je psychologická liečba duševnej choroby alebo fyzická rehabilitácia, ak sa tieto praktiky vykonávajú v súlade s platnými lekárskymi normami a právnymi predpismi, napríklad výslovný súhlas fyzických osôb alebo ich právnych zástupcov. Okrem toho by sa bežné a legitímne obchodné praktiky, napríklad v oblasti reklamy, ktoré sú v súlade s uplatniteľným právom, nemali samy osebe považovať za škodlivé manipulatívne praktiky využívajúce AI.