Pratiques interdites en matière d’IA

1.   Les pratiques en matière d’IA suivantes sont interdites:

a)

la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui a recours à des techniques subliminales, au-dessous du seuil de conscience d’une personne, ou à des techniques délibérément manipulatrices ou trompeuses, avec pour objectif ou effet d’altérer substantiellement le comportement d’une personne ou d’un groupe de personnes en portant considérablement atteinte à leur capacité à prendre une décision éclairée, amenant ainsi la personne à prendre une décision qu’elle n’aurait pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne, à une autre personne ou à un groupe de personnes;

b)

la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les éventuelles vulnérabilités dues à l’âge, au handicap ou à la situation sociale ou économique spécifique d’une personne physique ou d’un groupe de personnes donné avec pour objectif ou effet d’altérer substantiellement le comportement de cette personne ou d’un membre de ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer un préjudice important à cette personne ou à un tiers;

c)

la mise sur le marché, la mise en service ou l’utilisation de systèmes d’IA pour l’évaluation ou la classification de personnes physiques ou de groupes de personnes au cours d’une période donnée en fonction de leur comportement social ou de caractéristiques personnelles ou de personnalité connues, déduites ou prédites, la note sociale conduisant à l’une ou l’autre des situations suivantes, ou aux deux: i) le traitement préjudiciable ou défavorable de certaines personnes physiques ou de groupes de personnes dans des contextes sociaux dissociés du contexte dans lequel les données ont été générées ou collectées à l’origine; ii) le traitement préjudiciable ou défavorable de certaines personnes ou de groupes de personnes, qui est injustifié ou disproportionné par rapport à leur comportement social ou à la gravité de celui-ci;

d)

la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation d’un système d’IA pour mener des évaluations des risques des personnes physiques visant à évaluer ou à prédire le risque qu’une personne physique commette une infraction pénale, uniquement sur la base du profilage d’une personne physique ou de l’évaluation de ses traits de personnalité ou caractéristiques; cette interdiction ne s’applique pas aux systèmes d’IA utilisés pour étayer l’évaluation humaine de l’implication d’une personne dans une activité criminelle, qui est déjà fondée sur des faits objectifs et vérifiables, directement liés à une activité criminelle;

e)	la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA qui créent ou développent des bases de données de reconnaissance faciale par le moissonnage non ciblé d’images faciales provenant de l’internet ou de la vidéosurveillance;

f)

la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes d’IA pour inférer les émotions d’une personne physique sur le lieu de travail et dans les établissements d’enseignement, sauf lorsque l’utilisation du système d’IA est destinée à être mise en place ou mise sur le marché pour des raisons médicales ou de sécurité;

g)

la mise sur le marché, la mise en service à cette fin spécifique ou l’utilisation de systèmes de catégorisation biométrique qui catégorisent individuellement les personnes physiques sur la base de leurs données biométriques afin d’arriver à des déductions ou des inférences concernant leur race, leurs opinions politiques, leur affiliation à une organisation syndicale, leurs convictions religieuses ou philosophiques, leur vie sexuelle ou leur orientation sexuelle; cette interdiction ne couvre pas l’étiquetage ou le filtrage d’ensembles de données biométriques acquis légalement, tels que des images, fondés sur des données biométriques ou la catégorisation de données biométriques dans le domaine répressif;

h)

l’utilisation de systèmes d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives, sauf si et dans la mesure où cette utilisation est strictement nécessaire eu égard à l’un des objectifs suivants: i) la recherche ciblée de victimes spécifiques d’enlèvement, de la traite ou de l’exploitation sexuelle d’êtres humains, ainsi que la recherche de personnes disparues; ii) la prévention d’une menace spécifique, substantielle et imminente pour la vie ou la sécurité physique de personnes physiques ou d’une menace réelle et actuelle ou réelle et prévisible d’attaque terroriste; iii) la localisation ou l’identification d’une personne soupçonnée d’avoir commis une infraction pénale, aux fins de mener une enquête pénale, d’engager des poursuites ou d’exécuter une sanction pénale pour des infractions visées à l’annexe II et punissables dans l’État membre concerné d’une peine ou d’une mesure de sûreté privatives de liberté d’une durée maximale d’au moins quatre ans.

Le premier alinéa, point h), est sans préjudice de l’article 9 du règlement (UE) 2016/679 pour le traitement des données biométriques à des fins autres que répressives.

2.   L’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), n’est déployée aux fins énoncées audit point, que pour confirmer l’identité de la personne spécifiquement ciblée et tient compte des éléments suivants:

a)	la nature de la situation donnant lieu à un éventuel recours au système, en particulier la gravité, la probabilité et l’ampleur du préjudice qui serait causé si le système n’était pas utilisé;

b)	les conséquences de l’utilisation du système sur les droits et libertés de toutes les personnes concernées, notamment la gravité, la probabilité et l’ampleur de ces conséquences.

En outre, l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives en vue de la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), du présent article respecte les garanties et conditions nécessaires et proportionnées en ce qui concerne cette utilisation, conformément au droit national qui l’autorise, notamment eu égard aux limitations temporelles, géographiques et relatives aux personnes. L’utilisation du système d’identification biométrique à distance en temps réel dans des espaces accessibles au public n’est autorisée que si l’autorité répressive a réalisé une analyse d’impact sur les droits fondamentaux conformément à l’article 27 et a enregistré le système dans la base de données de l’UE prévue par l’article 49. Toutefois, dans des cas d’urgence dûment justifiés, il est possible de commencer à utiliser ces systèmes sans enregistrement dans la base de données de l’UE, à condition que cet enregistrement soit effectué sans retard injustifié.

3.   Aux fins du paragraphe 1, premier alinéa, point h), et du paragraphe 2, chaque utilisation à des fins répressives d’un système d’identification biométrique à distance en temps réel dans des espaces accessibles au public est subordonnée à une autorisation préalable octroyée par une autorité judiciaire ou une autorité administrative indépendante dont la décision est contraignante de l’État membre dans lequel cette utilisation doit avoir lieu, délivrée sur demande motivée et conformément aux règles détaillées du droit national visées au paragraphe 5. Toutefois, dans une situation d’urgence dûment justifiée, il est possible de commencer à utiliser ce système sans autorisation à condition que cette autorisation soit demandée sans retard injustifié, au plus tard dans les 24 heures. Si cette autorisation est rejetée, il est mis fin à l’utilisation avec effet immédiat, et toutes les données, ainsi que les résultats et sorties de cette utilisation, sont immédiatement mis au rebut et supprimés.

L’autorité judiciaire compétente ou une autorité administrative indépendante dont la décision est contraignante n’accorde l’autorisation que si elle estime, sur la base d’éléments objectifs ou d’indications claires qui lui sont présentés, que l’utilisation du système d’identification biométrique à distance en temps réel concerné est nécessaire et proportionnée à la réalisation de l’un des objectifs énumérés au paragraphe 1, premier alinéa, point h), tels qu’indiqués dans la demande et, en particulier, que cette utilisation reste limitée au strict nécessaire dans le temps et du point de vue de la portée géographique et personnelle. Lorsqu’elle statue sur la demande, cette autorité tient compte des éléments visés au paragraphe 2. Aucune décision produisant des effets juridiques défavorables à l’égard d’une personne ne peut être prise sur la seule base de la sortie du système d’identification biométrique à distance «en temps réel».

4.   Sans préjudice du paragraphe 3, toute utilisation d’un système d’identification biométrique à distance en temps réel dans des espaces accessibles au public à des fins répressives est notifiée à l’autorité de surveillance du marché concernée et à l’autorité nationale chargée de la protection des données, conformément aux règles nationales visées au paragraphe 5. Cette notification contient, au minimum, les informations visées au paragraphe 6 et n’inclut pas de données opérationnelles sensibles.

5.   Un État membre peut décider de prévoir la possibilité d’autoriser totalement ou partiellement l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, dans les limites et les conditions énumérées au paragraphe 1, premier alinéa, point h), et aux paragraphes 2 et 3. Les États membres concernés établissent dans leur droit national les règles détaillées nécessaires à la demande, à la délivrance et à l’exercice des autorisations visées au paragraphe 3, ainsi qu’à la surveillance et à l’établissement de rapports y afférents. Ces règles précisent également pour quels objectifs énumérés au paragraphe 1, premier alinéa, point h), et notamment pour quelles infractions pénales visées au point h), iii), les autorités compétentes peuvent être autorisées à utiliser ces systèmes à des fins répressives. Les États membres notifient ces règles à la Commission au plus tard 30 jours après leur adoption. Les États membres peuvent adopter, conformément au droit de l’Union, des lois plus restrictives sur l’utilisation de systèmes d’identification biométrique à distance.

6.   Les autorités nationales de surveillance du marché et les autorités nationales chargées de la protection des données des États membres qui ont été notifiées de l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, conformément au paragraphe 4, soumettent à la Commission des rapports annuels sur cette utilisation. À cette fin, la Commission fournit aux États membres et aux autorités nationales en matière de surveillance du marché et de protection des données un modèle comprenant des informations sur le nombre de décisions prises par les autorités judiciaires compétentes ou par une autorité administrative indépendante dont la décision est contraignante en ce qui concerne les demandes d’autorisation conformément au paragraphe 3, ainsi que sur leur résultat.

7.   La Commission publie des rapports annuels sur l’utilisation de systèmes d’identification biométriques à distance en temps réel dans des espaces accessibles au public à des fins répressives, fondés sur des données agrégées dans les États membres sur la base des rapports annuels visés au paragraphe 6. Ces rapports annuels n’incluent pas de données opérationnelles sensibles sur les activités répressives connexes.

8.   Le présent article ne porte pas atteinte aux interdictions qui s’appliquent lorsqu’une pratique en matière d’IA enfreint d’autres dispositions du droit de l’Union.

1.   Zakazují se následující postupy v oblasti AI:

a)

uvádění na trh, uvádění do provozu nebo používání systémů AI, které využívají podprahových technik mimo vědomí osob nebo záměrně manipulativních či klamavých technik, jejichž cílem nebo důsledkem je podstatné narušení chování osoby nebo skupiny osob tím, že znatelně zhoršují jejich schopnost učinit informované rozhodnutí, což vede k tomu, že přijmou rozhodnutí, které by jinak neučinily, což dotčené osobě, jiné osobě nebo skupině osob způsobuje nebo by s přiměřenou pravděpodobností mohlo způsobit významnou újmu;

b)

uvádění na trh, uvádění do provozu nebo používání systémů AI, které využívají zranitelnosti fyzické osoby nebo určité skupiny osob v důsledku jejich věku, zdravotního postižení nebo specifické sociální nebo ekonomické situace a jejichž cílem nebo důsledkem je podstatné narušení chování této osoby nebo osoby náležející k této skupině tak, že to dotčené osobě nebo jiné osobě způsobuje nebo by s přiměřenou pravděpodobností mohlo způsobit významnou újmu;

c)

uvádění na trh, uvádění do provozu nebo používání systémů AI pro hodnocení nebo klasifikace fyzických osob nebo skupin osob v určitém časovém úseku na základě jejich sociálního chování nebo známých, odvozených nebo předvídaných osobních či osobnostních vlastností, přičemž výsledný sociální kredit vede k jednomu nebo oběma následujícím důsledkům: i) ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo skupinami osob v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny; ii) ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo skupinami těchto osob, které je neodůvodněné nebo nepřiměřené jejich sociálnímu chování nebo jeho závažnosti;

d)

uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI pro posuzování rizik fyzických osob s cílem posoudit nebo předvídat riziko, že fyzická osoba spáchá trestný čin, a to výhradně na základě profilování fyzické osoby nebo posouzení jejích osobnostních znaků a vlastností; tento zákaz se nevztahuje na systémy AI používané na podporu lidského posouzení zaměřeného na zapojení osoby do trestné činnosti, které je již založeno na objektivních a ověřitelných skutečnostech přímo souvisejících s trestnou činností;

e)	uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI, které vytvářejí nebo rozšiřují databáze rozpoznávání obličeje prostřednictvím necíleného získávání zobrazení obličeje z internetu nebo kamerových záznamů;

f)	uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI s cílem odvodit emoce fyzické osoby na pracovišti a ve vzdělávacích institucích, s výjimkou případů, kdy je použití systému AI určeno k zavedení či k uvedení na trh z lékařských nebo bezpečnostních důvodů;

g)

uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů biometrické kategorizace, které jednotlivě kategorizují fyzické osoby na základě jejich biometrických údajů za účelem dovození nebo odvození jejich rasy, politických názorů, členství v odborových organizacích, náboženského nebo filozofického přesvědčení, sexuálního života nebo sexuální orientace; tento zákaz se nevztahuje na označování nebo filtrování legálně získaných souborů biometrických údajů, jako jsou snímky, na základě biometrických údajů nebo kategorizace biometrických údajů v oblasti vymáhání práva;

h)

používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva, pokud to není nezbytně nutné pro jeden z následujících cílů, a jen v nezbytně nutné míře: i) cílené vyhledávání určitých obětí únosů, obchodování s lidmi nebo sexuálního vykořisťování lidí, jakož i vyhledávání pohřešovaných osob; ii) prevence konkrétního, závažného a bezprostředního ohrožení života nebo fyzické bezpečnosti fyzických osob nebo skutečného a bezprostředního či skutečného a předvídatelného teroristického útoku; iii) lokalizace nebo identifikace osoby podezřelé ze spáchání trestného činu, za účelem trestního vyšetřování, stíhání nebo výkonu trestu za trestné činy uvedené v příloze II, za něž lze v dotčeném členském státě uložit trest odnětí svobody nebo ochranné opatření spojené s odnětím osobní svobody v maximální délce nejméně čtyři roky.

Prvním pododstavcem písm. h) není dotčen článek 9 nařízení (EU) 2016/679, pokud jde o zpracování biometrických údajů pro jiné účely, než je vymáhání práva.

2.   Používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva pro některý z cílů uvedených v odst. 1 prvním pododstavci písm. h) se zavede pro účely stanovené v daném ustanovení pouze k potvrzení totožnosti konkrétně cílené fyzické osoby a zohlední tyto prvky:

a)	povahu situace, která vede k jejich potenciálnímu použití, zejména závažnost, pravděpodobnost a rozsah újmy, která by byla způsobena v případě, že by systém použit nebyl;

b)	důsledky používání systému pro práva a svobody všech dotčených osob, zejména závažnost, pravděpodobnost a rozsah těchto důsledků.

Použití systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva pro dosažení kteréhokoli z cílů uvedených v odst. 1 prvním pododstavci písm. h) tohoto článku musí být navíc v souladu s nezbytnými a přiměřenými zárukami a podmínkami ve vztahu k použití podle vnitrostátního práva, jež použití takových systémů povoluje, zejména pokud jde o časová, zeměpisná a osobní omezení. Používání systému biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech je povoleno pouze v případě, že donucovací orgán dokončil posouzení dopadů na základní práva podle článku 27 a zaregistroval systém v databázi EU podle článku 49. V řádně odůvodněných naléhavých případech však může být používání těchto systémů zahájeno bez registrace v databázi EU, pokud je tato registrace provedena bez zbytečného odkladu.

3.   Pro účely odst. 1 prvního pododstavce písm. h) a odstavce 2 každé použití systému biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva podléhá předchozímu povolení ze strany justičního orgánu nebo nezávislého správního orgánu, jehož rozhodnutí je závazné a jenž se nachází v členském státě, ve kterém má k tomuto použití dojít, přičemž toto povolení je vydáno na základě odůvodněné žádosti a v souladu s podrobnými pravidly vnitrostátního práva uvedenými v odstavci 5. V řádně odůvodněné naléhavé situaci však může být používání systému zahájeno bez povolení za předpokladu, že se o takové povolení požádá bez zbytečného odkladu, nejpozději do 24 hodin. Je-li takové povolení zamítnuto, použití se s okamžitým účinkem zastaví a veškeré údaje, jakož i výsledky a výstupy tohoto použití se okamžitě vyřadí a vymažou.

Příslušný justiční orgán nebo nezávislý správní orgán, jehož rozhodnutí je závazné, udělí povolení pouze v případě, že je na základě objektivních důkazů nebo jednoznačných údajů, které mu byly předloženy, přesvědčen, že použití dotčeného systému biometrické identifikace na dálku v reálném čase je nezbytné a přiměřené k dosažení jednoho z cílů specifikovaných v odst. 1 prvním pododstavci písm. h), který je uveden v žádosti, a zejména je omezeno na to, co je nezbytně nutné, pokud jde o dobu, jakož i zeměpisný a osobní rozsah. Při rozhodování o žádosti zohlední tento orgán skutečnosti uvedené v odstavci 2. Výlučně na základě výstupu systému biometrické identifikace na dálku v reálném čase nelze přijmout žádné rozhodnutí, které má pro určitou osobu nepříznivé právní účinky.

4.   Aniž je dotčen odstavec 3, každé použití systému biometrické identifikace na dálku v reálném čase na veřejně přístupných prostorech se pro účely vymáhání práva oznámí příslušnému orgánu dozoru nad trhem a vnitrostátnímu orgánu pro ochranu osobních údajů v souladu s vnitrostátními pravidly uvedenými v odstavci 5. Oznámení obsahuje přinejmenším informace uvedené v odstavci 6 a nezahrnuje citlivé operativní údaje.

5.   Členský stát se může rozhodnout, že umožní plně nebo částečně povolit používání systémů biometrické identifikace na dálku v reálném čase na veřejně přístupných prostorech pro účely vymáhání práva v mezích a za podmínek uvedených v odst. 1 prvním pododstavci písm. h) a v odstavcích 2 a 3. Dotčené členské státy ve svém vnitrostátním právu stanoví nezbytná podrobná pravidla upravující žádosti o povolení uvedená v odstavci 3, vydávání a výkon těchto povolení, jakož i dohled nad nimi a podávání zpráv o nich. Tato pravidla rovněž stanoví, ve vztahu ke kterému cíli uvedenému v odst. 1 prvním pododstavci písm. h) a ke kterému trestnému činu uvedenému v písm. h) bodu iii) tohoto odstavce lze příslušným orgánům používání těchto systémů pro účely vymáhání práva povolit. Členské státy tato pravidla nejpozději 30 dnů po jejich přijetí oznámí Komisi. Členské státy mohou v souladu s právem Unie zavést přísnější právní předpisy týkající se používání systémů biometrické identifikace na dálku.

6.   Vnitrostátní orgány dozoru nad trhem a vnitrostátní orgány pro ochranu osobních údajů členských států, které byly informovány o používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva podle odstavce 4, předkládají Komisi ohledně tohoto používání výroční zprávy. Za tímto účelem poskytne Komise členským státům a vnitrostátním orgánům dozoru nad trhem a orgánům pro ochranu osobních údajů vzor, včetně informací o počtu rozhodnutí přijatých příslušnými justičními orgány nebo nezávislým správním orgánem, jejichž rozhodnutí je v případě žádostí o povolení v souladu s odstavcem 3 závazné, a o jejich výsledku.

7.   Pro účely vymáhání práva Komise zveřejňuje výroční zprávy o používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech, a to na základě souhrnných údajů o členských státech vycházejících z výročních zpráv podle odstavce 6. Tyto výroční zprávy neobsahují citlivé operativní údaje o souvisejících činnostech v oblasti vymáhání práva.

8.   Tímto článkem nejsou dotčeny zákazy, které se použijí v případě, že postupy AI porušují jiné právo Unie.