Considerando 29

Las técnicas de manipulación que posibilita la IA pueden utilizarse para persuadir a las personas de que adopten comportamientos no deseados o para engañarlas empujándolas a tomar decisiones de una manera que socava y perjudica su autonomía, su toma de decisiones y su capacidad de elegir libremente. Son especialmente peligrosos y, por tanto, deben prohibirse la introducción en el mercado, la puesta en servicio o la utilización de determinados sistemas de IA con el objetivo o al efecto de alterar de manera sustancial el comportamiento humano, con la consiguiente probabilidad de que se produzcan perjuicios considerables, en particular perjuicios con efectos adversos suficientemente importantes en la salud física o mental o en los intereses financieros. Esos sistemas de IA utilizan componentes subliminales, como estímulos de audio, imagen o vídeo que las personas no pueden percibir —ya que dichos estímulos trascienden la percepción humana—, u otras técnicas manipulativas o engañosas que socavan o perjudican la autonomía, la toma de decisiones o la capacidad de elegir libremente de las personas de maneras de las que estas no son realmente conscientes de dichas técnicas o, cuando lo son, pueden seguir siendo engañadas o no pueden controlarlas u oponerles resistencia. Esto podría facilitarse, por ejemplo, mediante interfaces cerebro-máquina o realidad virtual, dado que permiten un mayor grado de control acerca de qué estímulos se presentan a las personas, en la medida en que pueden alterar sustancialmente su comportamiento de un modo que suponga un perjuicio considerable. Además, los sistemas de IA también pueden explotar de otras maneras las vulnerabilidades de una persona o un colectivo específico de personas derivadas de su edad, su discapacidad en el sentido de lo dispuesto en la Directiva (UE) 2019/882 del Parlamento Europeo y del Consejo ¹⁶ o de una situación social o económica concreta que probablemente aumente su vulnerabilidad a la explotación, como vivir en condiciones de pobreza extrema o pertenecer a minorías étnicas o religiosas. Estos sistemas de IA pueden introducirse en el mercado, ponerse en servicio o utilizarse con el objetivo de alterar de manera sustancial el comportamiento de una persona, o tener ese efecto, y de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra persona o colectivo de personas, incluidos perjuicios que pueden acumularse a lo largo del tiempo y que, por tanto, deben prohibirse. No puede presuponerse que existe la intención de alterar el comportamiento si la alteración es el resultado de factores externos al sistema de IA que escapan al control del proveedor o del responsable del despliegue, a saber, factores que no es lógico prever y que, por tanto, el proveedor o el responsable del despliegue del sistema de IA no pueden mitigar. En cualquier caso, no es necesario que el proveedor o el responsable del despliegue tengan la intención de causar un perjuicio considerable, siempre que dicho perjuicio se derive de las prácticas de manipulación o explotación que posibilita la IA. La prohibición de tales prácticas de IA complementa lo dispuesto en la Directiva 2005/29/CE del Parlamento Europeo y del Consejo ¹⁷, en particular la prohibición, en cualquier circunstancia, de las prácticas comerciales desleales que causan perjuicios económicos o financieros a los consumidores, hayan sido establecidas mediante de sistemas de IA o de otra manera. La prohibición de las prácticas de manipulación y explotación establecida en el presente Reglamento no debe afectar a prácticas lícitas en el contexto de un tratamiento médico, como el tratamiento psicológico de una enfermedad mental o la rehabilitación física, cuando dichas prácticas se lleven a cabo de conformidad con el Derecho y las normas médicas aplicables, por ejemplo, con el consentimiento expreso de las personas o de sus representantes legales. Asimismo, no debe considerarse que las prácticas comerciales comunes y legítimas (por ejemplo, en el campo de la publicidad) que cumplan el Derecho aplicable son, en sí mismas, prácticas de manipulación perjudiciales que posibilita la IA.

Techniki manipulacyjne oparte na AI mogą być wykorzystywane w celu nakłaniania osób do niepożądanych zachowań lub w celu wprowadzania ich w błąd poprzez skłanianie ich do podejmowania decyzji w sposób, który podważa i ogranicza ich autonomię, decyzyjność i swobodę wyboru. Wprowadzanie do obrotu, oddawanie do użytku lub wykorzystywanie niektórych systemów AI, których celem lub skutkiem jest znacząca zmiana ludzkiego zachowania, w związku z czym mogą wystąpić poważne szkody, w szczególności mające wystarczająco istotny niepożądany wpływ na zdrowie fizyczne, psychiczne lub na interesy finansowe, są szczególnie niebezpieczne i w związku z tym powinny być zakazane. Takie systemy AI wykorzystują elementy działające podprogowo, takie jak bodźce dźwiękowe, bodźce będące obrazami lub materiałami wideo, których nie można dostrzec, ponieważ bodźce takie wykraczają poza świadomą ludzką percepcję, lub stosują inne techniki manipulacyjne lub wprowadzające w błąd, które podważają lub ograniczają autonomię człowieka, decyzyjność lub swobodę wyboru w taki sposób, że osoby nie są świadome takich technik lub nawet jeśli są ich świadome, mogą zostać wprowadzone w błąd lub nie są w stanie sprawować nad nimi kontroli ani im się sprzeciwić. Przyczyniać się do tego mogą na przykład interfejsy maszyna-mózg lub rzeczywistość wirtualna, ponieważ pozwalają one na większą kontrolę nad tym, jakim bodźcom są poddawane osoby, do tego stopnia, że mogą one znacząco zmieniać zachowanie tych osób w sposób znacząco szkodliwy. Ponadto systemy AI mogą również w inny sposób wykorzystywać słabości danej osoby lub określonej grupy osób ze względu na ich wiek, niepełnosprawność w rozumieniu dyrektywy Parlamentu Europejskiego i Rady (UE) 2019/882 ¹⁶ lub szczególną sytuację społeczną lub ekonomiczną, która może sprawić, że osoby te, takie jak osoby żyjące w skrajnym ubóstwie, osoby z mniejszości etnicznych lub religijnych, będą bardziej narażone na ich wykorzystanie. Takie systemy AI mogą być wprowadzane do obrotu, oddawane do użytku lub wykorzystywane w celu lub ze skutkiem znaczącej zmiany zachowania danej osoby, oraz w sposób, który wyrządza lub może z uzasadnionym prawdopodobieństwem wyrządzić poważną szkodę tej osoby lub innej osoby lub grupy osób, w tym szkody kumulujące się z biegiem czasu, i w związku z tym powinny być zakazane. Nie można zakładać, że zaistniał zamiar dokonania zmiany zachowania, jeżeli zmiana ta wynika z czynników, które mają charakter zewnętrzny w stosunku do systemu AI i które są poza kontrolą dostawcy lub podmiotu stosującego, a zatem ani dostawca ani podmiot stosujący AI nie mogą ich racjonalnie przewidzieć ani im przeciwdziałać. W każdym razie nie ma znaczenia, czy dostawca lub podmiot stosujący mieli zamiar wyrządzić poważną szkodę, istotny jest fakt, że szkoda wynika z praktyk manipulacyjnych opartych na AI lub ich wykorzystywania. Zakazy dotyczące takich praktyk w zakresie AI stanowią uzupełnienie przepisów zawartych w dyrektywie Parlamentu Europejskiego i Rady 2005/29/WE ¹⁷, w szczególności przepisu zakazującego stosowania we wszelkich okolicznościach nieuczciwych praktyk handlowych powodujących dla konsumentów szkody ekonomiczne lub finansowe, niezależnie od tego, czy praktyki te stosuje się za pomocą systemów AI czy w innym kontekście. Zawarty w niniejszym rozporządzeniu zakaz praktyk polegających na manipulacji lub wykorzystywaniu nie powinien mieć wpływu na zgodne z prawem praktyki w kontekście leczenia, takie jak terapia psychologiczna w związku z chorobą psychiczną lub rehabilitacja fizyczna, gdy praktyki te są prowadzone zgodnie z mającymi zastosowanie prawem i normami medycznymi, na przykład za wyraźną zgodą danej osoby fizycznej lub jej przedstawiciela prawnego. Ponadto powszechne i zasadne praktyki handlowe, na przykład w dziedzinie reklamy, które są zgodne z mającym zastosowanie prawem, nie powinny być same w sobie uznawane za szkodliwe praktyki manipulacyjne oparte na AI.