Pratiche di IA vietate

1.   Sono vietate le pratiche di IA seguenti:

a)

l'immissione sul mercato, la messa in servizio o l'uso di un sistema di IA che utilizza tecniche subliminali che agiscono senza che una persona ne sia consapevole o tecniche volutamente manipolative o ingannevoli aventi lo scopo o l'effetto di distorcere materialmente il comportamento di una persona o di un gruppo di persone, pregiudicando in modo considerevole la loro capacità di prendere una decisione informata, inducendole pertanto a prendere una decisione che non avrebbero altrimenti preso, in un modo che provochi o possa ragionevolmente provocare a tale persona, a un'altra persona o a un gruppo di persone un danno significativo;

b)

l'immissione sul mercato, la messa in servizio o l'uso di un sistema di IA che sfrutta le vulnerabilità di una persona fisica o di uno specifico gruppo di persone, dovute all'età, alla disabilità o a una specifica situazione sociale o economica, con l'obiettivo o l'effetto di distorcere materialmente il comportamento di tale persona o di una persona che appartiene a tale gruppo in un modo che provochi o possa ragionevolmente provocare a tale persona o a un'altra persona un danno significativo;

c)

l'immissione sul mercato, la messa in servizio o l'uso di sistemi di IAper la valutazione o la classificazione delle persone fisiche o di gruppi di persone per un determinato periodo di tempo sulla base del loro comportamento sociale o di caratteristiche personali o della personalità note, inferite o previste, in cui il punteggio sociale così ottenuto comporti il verificarsi di uno o di entrambi gli scenari seguenti: i) un trattamento pregiudizievole o sfavorevole di determinate persone fisiche o di gruppi di persone in contesti sociali che non sono collegati ai contesti in cui i dati sono stati originariamente generati o raccolti; ii) un trattamento pregiudizievole o sfavorevole di determinate persone fisiche o di gruppi di persone che sia ingiustificato o sproporzionato rispetto al loro comportamento sociale o alla sua gravità;

d)

l'immissione sul mercato, la messa in servizio per tale finalità specifica o l'uso di un sistema di IA per effettuare valutazioni del rischio relative a persone fisiche al fine di valutare o prevedere il rischio che una persona fisica commetta un reato, unicamente sulla base della profilazione di una persona fisica o della valutazione dei tratti e delle caratteristiche della personalità; tale divieto non si applica ai sistemi di IA utilizzati a sostegno della valutazione umana del coinvolgimento di una persona in un'attività criminosa, che si basa già su fatti oggettivi e verificabili direttamente connessi a un'attività criminosa;

e)	l'immissione sul mercato, la messa in servizio per tale finalità specifica o l'uso di sistemi di IA che creano o ampliano le banche dati di riconoscimento facciale mediante scraping non mirato di immagini facciali da internet o da filmati di telecamere a circuito chiuso;

f)

l'immissione sul mercato, la messa in servizio per tale finalità specifica o l'uso di sistemi di IA per inferire le emozioni di una persona fisica nell'ambito del luogo di lavoro e degli istituti di istruzione, tranne laddove l'uso del sistema di IA sia destinato a essere messo in funzione o immesso sul mercato per motivi medici o di sicurezza;

g)

l'immissione sul mercato, la messa in servizio per tale finalità specifica o l'uso di sistemi di categorizzazione biometrica che classificano individualmente le persone fisiche sulla base dei loro dati biometrici per trarre deduzioni o inferenze in merito a razza, opinioni politiche, appartenenza sindacale, convinzioni religiose o filosofiche, vita sessuale o orientamento sessuale; tale divieto non riguarda l'etichettatura o il filtraggio di set di dati biometrici acquisiti legalmente, come le immagini, sulla base di dati biometrici o della categorizzazione di dati biometrici nel settore delle attività di contrasto;

h)

l'uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrastoa meno che, e nella misura in cui, tale uso sia strettamente necessario per uno degli obiettivi seguenti: i) la ricerca mirata di specifichevittime di sottrazione, tratta di esseri umani o sfruttamento sessuale di esseri umani, nonché la ricerca di persone scomparse; ii) la prevenzione di una minaccia specifica, sostanziale e imminente per la vita o l'incolumità fisica delle persone fisiche o di una minaccia reale e attuale o reale e prevedibile di un attacco terroristico; iii) lalocalizzazione o l'identificazione di una persona sospettata di aver commesso un reato, ai fini dello svolgimento di un'indagine penale, o dell'esercizio di un'azione penale o dell'esecuzione di una sanzione penale per i reati di cui all'allegato II, punibile nello Stato membro interessato con una pena o una misura di sicurezza privativa della libertà della durata massima di almeno quattro anni.

La lettera h) del primo comma lascia impregiudicato l'articolo 9 del regolamento (UE) 2016/679 per quanto riguarda il trattamento dei dati biometrici a fini diversi dall'attività di contrasto.

2.   L'uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto per uno qualsiasi degli obiettivi di cui al paragrafo 1, primo comma, lettera h), è applicato ai fini di cui a tale lettera, solo per confermare l'identità della persona specificamente interessata e tiene conto degli elementi seguenti:

a)	la natura della situazione che dà luogo al possibile uso, in particolare la gravità, la probabilità e l'entità del danno che sarebbe causato in caso di mancato uso del sistema;

b)	le conseguenze dell'uso del sistema per i diritti e le libertà di tutte le persone interessate, in particolare la gravità, la probabilità e l'entità di tali conseguenze.

L'uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto per uno qualsiasi degli obiettivi di cui al paragrafo 1, primo comma, lettera h), del presente articolo rispetta inoltre le tutele e le condizioni necessarie e proporzionate in relazione all'uso, conformemente al diritto nazionale che autorizza tale uso, in particolare per quanto riguarda le limitazioni temporali, geografiche e personali. L'uso del sistema di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico è autorizzato solo se l'autorità di contrasto ha completato una valutazione d'impatto sui diritti fondamentali come previsto all'articolo 27 e ha registrato il sistema nella banca dati UE conformemente all'articolo 49. Tuttavia, in situazioni di urgenza debitamente giustificate, è possibile iniziare a usare tali sistemi senza la registrazione nella banca dati dell'UE, a condizione che tale registrazione sia completata senza indebito ritardo.

3.   Ai fini del paragrafo 1, primo comma, lettera h), e del paragrafo 2, ogniuso di un sistema di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto è subordinato a un'autorizzazione preventiva rilasciata da un'autorità giudiziaria oda un'autorità amministrativa indipendente, la cui decisione è vincolante, dello Stato membro in cui deve avvenire l'uso, rilasciata su richiesta motivata e in conformità delle regole dettagliate del diritto nazionale di cui al paragrafo 5. Tuttavia, in una situazione di urgenza debitamente giustificata, è possibile iniziare a usare il sistema senza autorizzazione a condizione che tale autorizzazione sia richiesta senza indebito ritardo, al più tardi entro 24 ore. Se tale autorizzazione è respinta, l'uso è interrotto con effetto immediato e tutti i dati nonché i risultati e gli output di tale uso sono immediatamente eliminati e cancellati.

L'autorità giudiziaria competente o un'autorità amministrativa indipendente la cui decisione è vincolante rilascia l'autorizzazione solo se ha accertato, sulla base di prove oggettive o indicazioni chiare che le sono state presentate, che l'uso del sistema di identificazione biometrica remota «in tempo reale» in questione è necessario e proporzionato al conseguimento di uno degli obiettivi di cui al paragrafo 1, primo comma, lettera h), come indicato nella richiesta e, in particolare, rimane limitato a quanto strettamente necessario per quanto riguarda il periodo di tempo e l'ambito geografico e personale. Nel decidere in merito alla richiesta, tale autorità tiene conto degli elementi di cui al paragrafo 2. Nessuna decisione che produca effetti giuridici negativi su una persona può essere presa unicamente sulla base dell'output del sistema di identificazione biometrica remota «in tempo reale».

4.   Fatto salvo il paragrafo 3, ogni uso di un sistema di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto è notificato alla pertinente autorità di vigilanza del mercato e all'autorità nazionale per la protezione dei dati conformemente alle regole nazionali di cui al paragrafo 5. La notifica contiene almeno le informazioni di cui al paragrafo 6 e non include dati operativi sensibili.

5.   Uno Stato membro può decidere di prevedere la possibilità di autorizzare in tutto o in parte l'uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto, entro i limiti e alle condizioni di cui al paragrafo 1, primo comma, lettera h), e ai paragrafi 2 e 3. Gli Stati membri interessati stabiliscono nel proprio diritto nazionale le necessarie regole dettagliate per la richiesta, il rilascio, l'esercizio delle autorizzazioni di cui al paragrafo 3, nonché per le attività di controllo e comunicazione ad esse relative. Tali regole specificano inoltre per quali degli obiettivi elencati al paragrafo 1, primo comma, lettera h), compresi i reati di cui alla lettera h), punto iii), le autorità competenti possono essere autorizzate ad utilizzare tali sistemi a fini di attività di contrasto. Gli Stati membri notificano tali regole alla Commissione al più tardi 30 giorni dopo la loro adozione. Gli Stati membri possono introdurre, in conformità del diritto dell'Unione, disposizioni più restrittive sull'uso dei sistemi di identificazione biometrica remota.

6.   Le autorità nazionali di vigilanza del mercato e le autorità nazionali per la protezione dei dati degli Stati membri cui è stato notificato l'uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto a norma del paragrafo 4, presentano alla Commissione relazioni annuali su tale uso. A tal fine, la Commissione fornisce agli Stati membri e alle autorità nazionali di vigilanza del mercato e di protezione dei dati un modello comprendente informazioni sul numero di decisioni che le autorità giudiziarie competenti, o un'autorità amministrativa indipendente la cui decisione è vincolante, hanno adottato in risposta alle richieste di autorizzazione a norma del paragrafo 3 e il loro esito.

7.   La Commissione pubblica relazioni annuali sull'uso di sistemi di identificazione biometrica remota «in tempo reale» in spazi accessibili al pubblico a fini di attività di contrasto, fondate sui dati aggregati negli Stati membri sulla base delle relazioni annuali di cui al paragrafo 6. Tali relazioni annuali non includono dati operativi sensibili delle relative attività di contrasto.

8.   Il presente articolo lascia impregiudicati i divieti che si applicano qualora una pratica di IA violi altre disposizioni di diritto dell'Unione.

1.   Zakazují se následující postupy v oblasti AI:

a)

uvádění na trh, uvádění do provozu nebo používání systémů AI, které využívají podprahových technik mimo vědomí osob nebo záměrně manipulativních či klamavých technik, jejichž cílem nebo důsledkem je podstatné narušení chování osoby nebo skupiny osob tím, že znatelně zhoršují jejich schopnost učinit informované rozhodnutí, což vede k tomu, že přijmou rozhodnutí, které by jinak neučinily, což dotčené osobě, jiné osobě nebo skupině osob způsobuje nebo by s přiměřenou pravděpodobností mohlo způsobit významnou újmu;

b)

uvádění na trh, uvádění do provozu nebo používání systémů AI, které využívají zranitelnosti fyzické osoby nebo určité skupiny osob v důsledku jejich věku, zdravotního postižení nebo specifické sociální nebo ekonomické situace a jejichž cílem nebo důsledkem je podstatné narušení chování této osoby nebo osoby náležející k této skupině tak, že to dotčené osobě nebo jiné osobě způsobuje nebo by s přiměřenou pravděpodobností mohlo způsobit významnou újmu;

c)

uvádění na trh, uvádění do provozu nebo používání systémů AI pro hodnocení nebo klasifikace fyzických osob nebo skupin osob v určitém časovém úseku na základě jejich sociálního chování nebo známých, odvozených nebo předvídaných osobních či osobnostních vlastností, přičemž výsledný sociální kredit vede k jednomu nebo oběma následujícím důsledkům: i) ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo skupinami osob v sociálních kontextech nesouvisejících s kontextem, ve kterém byly dané údaje původně vytvořeny nebo shromážděny; ii) ke znevýhodňujícímu nebo nepříznivému zacházení s některými fyzickými osobami nebo skupinami těchto osob, které je neodůvodněné nebo nepřiměřené jejich sociálnímu chování nebo jeho závažnosti;

d)

uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI pro posuzování rizik fyzických osob s cílem posoudit nebo předvídat riziko, že fyzická osoba spáchá trestný čin, a to výhradně na základě profilování fyzické osoby nebo posouzení jejích osobnostních znaků a vlastností; tento zákaz se nevztahuje na systémy AI používané na podporu lidského posouzení zaměřeného na zapojení osoby do trestné činnosti, které je již založeno na objektivních a ověřitelných skutečnostech přímo souvisejících s trestnou činností;

e)	uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI, které vytvářejí nebo rozšiřují databáze rozpoznávání obličeje prostřednictvím necíleného získávání zobrazení obličeje z internetu nebo kamerových záznamů;

f)	uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI s cílem odvodit emoce fyzické osoby na pracovišti a ve vzdělávacích institucích, s výjimkou případů, kdy je použití systému AI určeno k zavedení či k uvedení na trh z lékařských nebo bezpečnostních důvodů;

g)

uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů biometrické kategorizace, které jednotlivě kategorizují fyzické osoby na základě jejich biometrických údajů za účelem dovození nebo odvození jejich rasy, politických názorů, členství v odborových organizacích, náboženského nebo filozofického přesvědčení, sexuálního života nebo sexuální orientace; tento zákaz se nevztahuje na označování nebo filtrování legálně získaných souborů biometrických údajů, jako jsou snímky, na základě biometrických údajů nebo kategorizace biometrických údajů v oblasti vymáhání práva;

h)

používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva, pokud to není nezbytně nutné pro jeden z následujících cílů, a jen v nezbytně nutné míře: i) cílené vyhledávání určitých obětí únosů, obchodování s lidmi nebo sexuálního vykořisťování lidí, jakož i vyhledávání pohřešovaných osob; ii) prevence konkrétního, závažného a bezprostředního ohrožení života nebo fyzické bezpečnosti fyzických osob nebo skutečného a bezprostředního či skutečného a předvídatelného teroristického útoku; iii) lokalizace nebo identifikace osoby podezřelé ze spáchání trestného činu, za účelem trestního vyšetřování, stíhání nebo výkonu trestu za trestné činy uvedené v příloze II, za něž lze v dotčeném členském státě uložit trest odnětí svobody nebo ochranné opatření spojené s odnětím osobní svobody v maximální délce nejméně čtyři roky.

Prvním pododstavcem písm. h) není dotčen článek 9 nařízení (EU) 2016/679, pokud jde o zpracování biometrických údajů pro jiné účely, než je vymáhání práva.

2.   Používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva pro některý z cílů uvedených v odst. 1 prvním pododstavci písm. h) se zavede pro účely stanovené v daném ustanovení pouze k potvrzení totožnosti konkrétně cílené fyzické osoby a zohlední tyto prvky:

a)	povahu situace, která vede k jejich potenciálnímu použití, zejména závažnost, pravděpodobnost a rozsah újmy, která by byla způsobena v případě, že by systém použit nebyl;

b)	důsledky používání systému pro práva a svobody všech dotčených osob, zejména závažnost, pravděpodobnost a rozsah těchto důsledků.

Použití systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva pro dosažení kteréhokoli z cílů uvedených v odst. 1 prvním pododstavci písm. h) tohoto článku musí být navíc v souladu s nezbytnými a přiměřenými zárukami a podmínkami ve vztahu k použití podle vnitrostátního práva, jež použití takových systémů povoluje, zejména pokud jde o časová, zeměpisná a osobní omezení. Používání systému biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech je povoleno pouze v případě, že donucovací orgán dokončil posouzení dopadů na základní práva podle článku 27 a zaregistroval systém v databázi EU podle článku 49. V řádně odůvodněných naléhavých případech však může být používání těchto systémů zahájeno bez registrace v databázi EU, pokud je tato registrace provedena bez zbytečného odkladu.

3.   Pro účely odst. 1 prvního pododstavce písm. h) a odstavce 2 každé použití systému biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva podléhá předchozímu povolení ze strany justičního orgánu nebo nezávislého správního orgánu, jehož rozhodnutí je závazné a jenž se nachází v členském státě, ve kterém má k tomuto použití dojít, přičemž toto povolení je vydáno na základě odůvodněné žádosti a v souladu s podrobnými pravidly vnitrostátního práva uvedenými v odstavci 5. V řádně odůvodněné naléhavé situaci však může být používání systému zahájeno bez povolení za předpokladu, že se o takové povolení požádá bez zbytečného odkladu, nejpozději do 24 hodin. Je-li takové povolení zamítnuto, použití se s okamžitým účinkem zastaví a veškeré údaje, jakož i výsledky a výstupy tohoto použití se okamžitě vyřadí a vymažou.

Příslušný justiční orgán nebo nezávislý správní orgán, jehož rozhodnutí je závazné, udělí povolení pouze v případě, že je na základě objektivních důkazů nebo jednoznačných údajů, které mu byly předloženy, přesvědčen, že použití dotčeného systému biometrické identifikace na dálku v reálném čase je nezbytné a přiměřené k dosažení jednoho z cílů specifikovaných v odst. 1 prvním pododstavci písm. h), který je uveden v žádosti, a zejména je omezeno na to, co je nezbytně nutné, pokud jde o dobu, jakož i zeměpisný a osobní rozsah. Při rozhodování o žádosti zohlední tento orgán skutečnosti uvedené v odstavci 2. Výlučně na základě výstupu systému biometrické identifikace na dálku v reálném čase nelze přijmout žádné rozhodnutí, které má pro určitou osobu nepříznivé právní účinky.

4.   Aniž je dotčen odstavec 3, každé použití systému biometrické identifikace na dálku v reálném čase na veřejně přístupných prostorech se pro účely vymáhání práva oznámí příslušnému orgánu dozoru nad trhem a vnitrostátnímu orgánu pro ochranu osobních údajů v souladu s vnitrostátními pravidly uvedenými v odstavci 5. Oznámení obsahuje přinejmenším informace uvedené v odstavci 6 a nezahrnuje citlivé operativní údaje.

5.   Členský stát se může rozhodnout, že umožní plně nebo částečně povolit používání systémů biometrické identifikace na dálku v reálném čase na veřejně přístupných prostorech pro účely vymáhání práva v mezích a za podmínek uvedených v odst. 1 prvním pododstavci písm. h) a v odstavcích 2 a 3. Dotčené členské státy ve svém vnitrostátním právu stanoví nezbytná podrobná pravidla upravující žádosti o povolení uvedená v odstavci 3, vydávání a výkon těchto povolení, jakož i dohled nad nimi a podávání zpráv o nich. Tato pravidla rovněž stanoví, ve vztahu ke kterému cíli uvedenému v odst. 1 prvním pododstavci písm. h) a ke kterému trestnému činu uvedenému v písm. h) bodu iii) tohoto odstavce lze příslušným orgánům používání těchto systémů pro účely vymáhání práva povolit. Členské státy tato pravidla nejpozději 30 dnů po jejich přijetí oznámí Komisi. Členské státy mohou v souladu s právem Unie zavést přísnější právní předpisy týkající se používání systémů biometrické identifikace na dálku.

6.   Vnitrostátní orgány dozoru nad trhem a vnitrostátní orgány pro ochranu osobních údajů členských států, které byly informovány o používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva podle odstavce 4, předkládají Komisi ohledně tohoto používání výroční zprávy. Za tímto účelem poskytne Komise členským státům a vnitrostátním orgánům dozoru nad trhem a orgánům pro ochranu osobních údajů vzor, včetně informací o počtu rozhodnutí přijatých příslušnými justičními orgány nebo nezávislým správním orgánem, jejichž rozhodnutí je v případě žádostí o povolení v souladu s odstavcem 3 závazné, a o jejich výsledku.

7.   Pro účely vymáhání práva Komise zveřejňuje výroční zprávy o používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech, a to na základě souhrnných údajů o členských státech vycházejících z výročních zpráv podle odstavce 6. Tyto výroční zprávy neobsahují citlivé operativní údaje o souvisejících činnostech v oblasti vymáhání práva.

8.   Tímto článkem nejsou dotčeny zákazy, které se použijí v případě, že postupy AI porušují jiné právo Unie.