Bod odůvodnění 29

Manipulativní techniky založené na AI lze použít k přesvědčování osob k nežádoucímu chování nebo k jejich klamání tím, že je podněcují k přijímání rozhodnutí tak, že je podkopávána a narušována jejich autonomie, rozhodování a svobodná volba. Uvádění na trh nebo do provozu nebo používání určitých systémů AI s cílem podstatně ovlivnit lidské chování nebo s takovým účinkem, kdy je pravděpodobné, že bude dotčeným osobám způsobena značná újma, zejména pokud jde o dostatečně významné nepříznivé dopady na fyzické či psychické zdraví nebo finanční zájmy, je obzvláště nebezpečné, a proto by mělo být zakázáno. Tyto systémy AI využívají podprahové signály, jako jsou zvukové a obrazové stimuly a videostimuly, které člověk není schopen vnímat, neboť jsou mimo rámec lidského vnímání, nebo jiné manipulativní nebo klamavé techniky, které narušují nebo oslabují autonomii, schopnost rozhodování nebo svobodnou volbu člověka tak, že tento vliv vědomě nezaznamená, nebo pokud si jej uvědomí, přesto se nechá oklamat nebo není schopen tyto techniky ovlivnit nebo jim odolat. To by mohlo být usnadněno například rozhraními stroj–mozek nebo virtuální realitou, neboť umožňují větší kontrolu nad tím, jakým stimulům je jedinec vystaven, pokud mohou tyto stimuly značnou měrou a výrazně škodlivým způsobem narušit jejich chování. Systémy AI mohou kromě toho zneužívat zranitelnost jednotlivců či určité skupiny osob i jiným způsobem, z důvodu jejich věku, zdravotního postižení ve smyslu směrnice Evropského parlamentu a Rady (EU) 2019/882 ¹⁶ nebo zvláštní sociální nebo ekonomické situace, v jejímž důsledku mohou být tyto osoby, jako jsou osoby žijící v extrémní chudobě nebo etnické nebo náboženské menšiny, více zranitelné vůči zneužívání. Tyto systémy mohou být uváděny na trh nebo do provozu nebo používány s cílem podstatně ovlivnit chování určitého jednotlivce nebo s takovým účinkem, a to takovým způsobem, že je dotčenému jednotlivci nebo jiné osobě nebo skupinám osob způsobena značná újma nebo lze takovou újmu důvodně předpokládat, přičemž se může jednat i o újmy, které v průběhu času kumulují; proto by měly být tyto systémy zakázány. Může se stát, že úmysl ovlivnit chování není možné předpokládat, pokud je takovéto ovlivnění způsobeno faktory mimo systém AI, které jsou mimo kontrolu poskytovatele nebo zavádějícího subjektu, konkrétně pokud jde o faktory, které nemusí být rozumně předvídatelné, a tudíž je poskytovatel nebo subjekt zavádějící systém AI nemohou zmírnit. V každém případě nemusí mít poskytovatel nebo zavádějící subjekt v úmyslu způsobit značnou újmu, pokud tato újma vyplývá z manipulativních nebo vykořisťujících praktik založených na AI. Zákazy těchto praktik AI se doplňují ustanovení obsažená ve směrnici Evropského parlamentu a Rady 2005/29/ES ¹⁷, zejména pokud jde o to, že nekalé obchodní praktiky vedoucí k hospodářské nebo finanční újmě pro spotřebitele jsou zakázány za všech okolností bez ohledu na to, zda jsou zavedeny prostřednictvím systémů AI, nebo jinak. Zákazy manipulativních a vykořisťujících praktik stanovené v tomto nařízení by neměly mít vliv na zákonné postupy v souvislosti s lékařskou péčí, jako je psychologická léčba duševní nemoci nebo tělesná rehabilitace, jsou-li tyto praktiky prováděny v souladu s platným právem a lékařskými normami, například pokud jde o výslovný souhlas osob nebo jejich právních zástupců. Kromě toho by za škodlivé manipulativní praktiky založené na AI neměly být samy o sobě považovány běžné a legitimní obchodní praktiky, například v oblasti reklamy, které jsou v souladu s platným právem.

Des techniques de manipulation fondées sur l’IA peuvent être utilisées pour persuader des personnes d’adopter des comportements indésirables ou pour les tromper en les poussant à prendre des décisions d’une manière qui met à mal et compromet leur autonomie, leur libre arbitre et leur liberté de choix. La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA ayant pour objectif ou pour effet d’altérer substantiellement les comportements humains, avec le risque de causer des dommages importants, en particulier d’avoir des incidences suffisamment importantes sur la santé physique ou psychologique ou sur les intérêts financiers, sont particulièrement dangereuses et devraient dès lors être interdites. Ces systèmes d’IA font intervenir des composants subliminaux, tels que des stimuli sonores, visuels ou vidéo que l’individu ne peut percevoir, étant donné que ces stimuli échappent à la perception humaine, ou d’autres techniques manipulatrices ou trompeuses qui mettent à mal ou altèrent l’autonomie de la personne, son libre arbitre ou sa liberté de choix de telle sorte que l’individu n’est pas conscient de ces techniques ou, à supposer qu’il le soit, sans qu’il puisse échapper à la duperie ni opposer une résistance ou un contrôle auxdites techniques. Cela pourrait être facilité, par exemple, par des interfaces cerveau-machine ou par la réalité virtuelle étant donné qu’elles permettent d’avoir plus de contrôle sur les stimuli qui sont présentés aux personnes, dans la mesure où elles peuvent en altérer sensiblement le comportement d’une manière très nocive. En outre, des systèmes d’IA peuvent également exploiter les vulnérabilités d’une personne ou d’un groupe particulier de personnes en raison de leur âge, d’un handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil ¹⁶, ou d’une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l’exploitation, telles que les personnes vivant dans une extrême pauvreté ou appartenant à des minorités ethniques ou religieuses. De tels systèmes d’IA peuvent être mis sur le marché, mis en service ou utilisés avec pour objectif ou pour effet d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des dommages susceptibles de s’accumuler au fil du temps, et il y a lieu, par conséquent, de les interdire. Il peut s’avérer impossible de présumer l’existence d’une intention d’altérer le comportement lorsque cette altération résulte de facteurs externes au système d’IA qui échappent au contrôle du fournisseur ou du déployeur, à savoir de facteurs qui ne peuvent être raisonnablement prévisibles, et partant, ne peuvent être atténués par le fournisseur ou le déployeur du système d’IA. En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, du moment que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. Les interdictions de telles pratiques en matière d’IA complètent les dispositions de la directive 2005/29/CE du Parlement européen et du Conseil ¹⁷, notamment concernant le fait que les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu’elles soient mises en place au moyen de systèmes d’IA ou autrement. Les interdictions des pratiques de manipulation et d’exploitation prévues par le présent règlement ne devraient pas affecter les pratiques licites dans le cadre de traitements médicaux tels que le traitement psychologique d’une maladie mentale ou la rééducation physique, lorsque ces pratiques sont effectuées conformément à la législation applicable et aux normes médicales, comme le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales courantes et légitimes, par exemple dans le domaine de la publicité, qui respectent le droit applicable ne devraient pas, en soi, être considérées comme constituant des pratiques de manipulation préjudiciables reposant sur l’IA.