Considérant 29

Des techniques de manipulation fondées sur l’IA peuvent être utilisées pour persuader des personnes d’adopter des comportements indésirables ou pour les tromper en les poussant à prendre des décisions d’une manière qui met à mal et compromet leur autonomie, leur libre arbitre et leur liberté de choix. La mise sur le marché, la mise en service ou l’utilisation de certains systèmes d’IA ayant pour objectif ou pour effet d’altérer substantiellement les comportements humains, avec le risque de causer des dommages importants, en particulier d’avoir des incidences suffisamment importantes sur la santé physique ou psychologique ou sur les intérêts financiers, sont particulièrement dangereuses et devraient dès lors être interdites. Ces systèmes d’IA font intervenir des composants subliminaux, tels que des stimuli sonores, visuels ou vidéo que l’individu ne peut percevoir, étant donné que ces stimuli échappent à la perception humaine, ou d’autres techniques manipulatrices ou trompeuses qui mettent à mal ou altèrent l’autonomie de la personne, son libre arbitre ou sa liberté de choix de telle sorte que l’individu n’est pas conscient de ces techniques ou, à supposer qu’il le soit, sans qu’il puisse échapper à la duperie ni opposer une résistance ou un contrôle auxdites techniques. Cela pourrait être facilité, par exemple, par des interfaces cerveau-machine ou par la réalité virtuelle étant donné qu’elles permettent d’avoir plus de contrôle sur les stimuli qui sont présentés aux personnes, dans la mesure où elles peuvent en altérer sensiblement le comportement d’une manière très nocive. En outre, des systèmes d’IA peuvent également exploiter les vulnérabilités d’une personne ou d’un groupe particulier de personnes en raison de leur âge, d’un handicap au sens de la directive (UE) 2019/882 du Parlement européen et du Conseil ¹⁶, ou d’une situation sociale ou économique spécifique susceptible de rendre ces personnes plus vulnérables à l’exploitation, telles que les personnes vivant dans une extrême pauvreté ou appartenant à des minorités ethniques ou religieuses. De tels systèmes d’IA peuvent être mis sur le marché, mis en service ou utilisés avec pour objectif ou pour effet d’altérer substantiellement le comportement d’une personne d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à une autre personne ou à des groupes de personnes, y compris des dommages susceptibles de s’accumuler au fil du temps, et il y a lieu, par conséquent, de les interdire. Il peut s’avérer impossible de présumer l’existence d’une intention d’altérer le comportement lorsque cette altération résulte de facteurs externes au système d’IA qui échappent au contrôle du fournisseur ou du déployeur, à savoir de facteurs qui ne peuvent être raisonnablement prévisibles, et partant, ne peuvent être atténués par le fournisseur ou le déployeur du système d’IA. En tout état de cause, il n’est pas nécessaire que le fournisseur ou le déployeur ait l’intention de causer un préjudice important, du moment que ce préjudice résulte de pratiques de manipulation ou d’exploitation reposant sur l’IA. Les interdictions de telles pratiques en matière d’IA complètent les dispositions de la directive 2005/29/CE du Parlement européen et du Conseil ¹⁷, notamment concernant le fait que les pratiques commerciales déloyales entraînant des préjudices économiques ou financiers pour les consommateurs sont interdites en toutes circonstances, qu’elles soient mises en place au moyen de systèmes d’IA ou autrement. Les interdictions des pratiques de manipulation et d’exploitation prévues par le présent règlement ne devraient pas affecter les pratiques licites dans le cadre de traitements médicaux tels que le traitement psychologique d’une maladie mentale ou la rééducation physique, lorsque ces pratiques sont effectuées conformément à la législation applicable et aux normes médicales, comme le consentement explicite des personnes ou de leurs représentants légaux. En outre, les pratiques commerciales courantes et légitimes, par exemple dans le domaine de la publicité, qui respectent le droit applicable ne devraient pas, en soi, être considérées comme constituant des pratiques de manipulation préjudiciables reposant sur l’IA.

Le tecniche di manipolazione basate sull'IA possono essere utilizzate per persuadere le persone ad adottare comportamenti indesiderati o per indurle con l'inganno a prendere decisioni in modo da sovvertirne e pregiudicarne l'autonomia, il processo decisionale e la libera scelta. L'immissione sul mercato, la messa in servizio o l'uso di determinati sistemi di IA con l'obiettivo o l'effetto di distorcere materialmente il comportamento umano, con il rischio di causare danni significativi, in particolare aventi effetti negativi sufficientemente importanti sulla salute fisica, psicologica o sugli interessi finanziari, sono particolarmente pericolosi e dovrebbero pertanto essere vietati. Tali sistemi di IA impiegano componenti subliminali quali stimoli audio, grafici e video che le persone non sono in grado di percepire poiché tali stimoli vanno al di là della percezione umana o altre tecniche manipolative o ingannevoli che sovvertono o pregiudicano l'autonomia, il processo decisionale o la libera scelta di una persona senza che sia consapevole di tali tecniche o, se ne è consapevole, senza che sia in grado di controllarle o resistervi o possa evitare l'inganno. Ciò potrebbe essere facilitato, ad esempio, da interfacce cervello-computer o dalla realtà virtuale, in quanto queste consentono un livello più elevato di controllo degli stimoli presentati alle persone, nella misura in cui possono distorcerne materialmente il comportamento in modo significativamente nocivo. In aggiunta, i sistemi di IA possono inoltre sfruttare in altro modo le vulnerabilità di una persona o di uno specifico gruppo di persone dovute all'età, a disabilità ai sensi della direttiva (UE) 2019/882 del Parlamento europeo e del Consiglio ¹⁶ o a una specifica situazione sociale o economica che potrebbe rendere tali persone più vulnerabili allo sfruttamento, come le persone che vivono in condizioni di povertà estrema e le minoranze etniche o religiose. Tali sistemi di IA possono essere immessi sul mercato, messi in servizio o utilizzati con l'obiettivo o l'effetto di distorcere materialmente il comportamento di una persona e in un modo che provochi o possa verosimilmente provocare a tale persona o a un'altra persona o gruppo di persone un danno significativo, compresi danni che possono essere accumulati nel tempo, e dovrebbero pertanto essere vietati. Potrebbe non essere possibile presumere che vi sia l'intenzione di distorcere il comportamento qualora la distorsione sia determinata da fattori esterni al sistema di IA, che sfuggono al controllo del fornitore o del deployer, ossia fattori che non possono essere ragionevolmente prevedibili e non possono quindi essere attenuati dal fornitore o dal deployer del sistema di IA. In ogni caso, non è necessario che il fornitore o il deployer abbiano l'intento di provocare un danno significativo, purché tale danno derivi da pratiche manipolative o di sfruttamento consentite dall'IA. Il divieto di tali pratiche di IA è complementare alle disposizioni contenute nella direttiva 2005/29/CE del Parlamento europeo e del Consiglio ¹⁷, in particolare le pratiche commerciali sleali che comportano danni economici o finanziari per i consumatori sono vietate in ogni circostanza, indipendentemente dal fatto che siano attuate attraverso sistemi di IA o in altro modo. I divieti di pratiche manipolative e di sfruttamento di cui al presente regolamento non dovrebbero pregiudicare le pratiche lecite nel contesto di trattamenti medici, quali il trattamento psicologico di una malattia mentale o la riabilitazione fisica, quando tali pratiche sono svolte conformemente al diritto applicabile e alle norme in ambito medico, ad esempio il consenso esplicito delle persone fisiche o dei loro rappresentanti legali. Inoltre, le pratiche commerciali comuni e legittime, ad esempio nel settore della pubblicità, che sono conformi alla normativa applicabile non dovrebbero essere considerate di per sé come pratiche consentite dall’IA manipolative o dannose.