Considerando 59

Tenuto conto del loro ruolo e della loro responsabilità, le azioni delle autorità di contrasto che prevedono determinati usi dei sistemi di IA sono caratterizzate da un livello significativo di squilibrio di potere e possono portare alla sorveglianza, all'arresto o alla privazione della libertà di una persona fisica, come pure avere altri impatti negativi sui diritti fondamentali garantiti nella Carta. In particolare, il sistema di IA, se non è addestrato con dati di elevata qualità, se non soddisfa requisiti adeguati in termini di prestazione, accuratezza o robustezza, o se non è adeguatamente progettato e sottoposto a prova prima di essere immesso sul mercato o altrimenti messo in servizio, può individuare le persone in modo discriminatorio o altrimenti errato o ingiusto. Potrebbe inoltre essere ostacolato l'esercizio di importanti diritti procedurali fondamentali, quali il diritto a un ricorso effettivo e a un giudice imparziale, nonché i diritti della difesa e la presunzione di innocenza, in particolare nel caso in cui tali sistemi di IA non siano sufficientemente trasparenti, spiegabili e documentati. È pertanto opportuno classificare come ad alto rischio, nella misura in cui il loro uso è consentito dal pertinente diritto dell'Unione e nazionale, una serie di sistemi di IA destinati a essere utilizzati nel contesto delle attività di contrasto, in cui l'accuratezza, l'affidabilità e la trasparenza risultano particolarmente importanti per evitare impatti negativi, mantenere la fiducia dei cittadini e garantire la responsabilità e mezzi di ricorso efficaci. In considerazione della natura delle attività e dei rischi a esse connessi, tra tali sistemi di IA ad alto rischio è opportuno includere, in particolare, i sistemi di IA destinati a essere utilizzati dalle autorità di contrasto, o per loro conto, o dagli organi o organismi dell'Unione a sostegno delle autorità di contrasto per valutare il rischio per una persona fisica di diventare vittima di reati, come poligrafi e strumenti analoghi, valutare l'affidabilità degli elementi probatori nel corso dell'accertamento e del perseguimento di reati, e, nella misura in cui non è vietato a norma del presente regolamento, determinare il rischio di reato o recidiva in relazione a una persona fisica non solo sulla base della profilazione delle persone fisiche, ma anche della valutazione dei tratti e delle caratteristiche della personalità o del comportamento criminale pregresso delle persone fisiche o dei gruppi, ai fini della profilazione nel corso dell'indagine, dell'accertamento e del perseguimento di reati. I sistemi di IA specificamente destinati a essere utilizzati per procedimenti amministrativi dalle autorità fiscali e doganali, come pure dalle unità di informazione finanziaria che svolgono compiti amministrativi di analisi delle informazioni conformemente al diritto dell’Unione in materia di antiriciclaggio, non dovrebbero essere classificati come sistemi di IA ad alto rischio utilizzati dalle autorità di contrasto a fini di prevenzione, accertamento, indagine e perseguimento di reati. L'utilizzo degli strumenti di IA da parte delle autorità di contrasto e delle altre pertinenti autorità non dovrebbe diventare un fattore di disuguaglianza o esclusione. L'impatto dell'utilizzo degli strumenti di IA sul diritto alla difesa degli indagati non dovrebbe essere ignorato, in particolare la difficoltà di ottenere informazioni significative sul funzionamento di tali sistemi e la difficoltà che ne risulta nel confutarne i risultati in tribunale, in particolare per le persone fisiche sottoposte a indagini.

Konanie orgánov presadzovania práva zahŕňajúce určité použitia systémov AI sa vzhľadom na ich úlohu a zodpovednosť vyznačuje značným stupňom nerovnováhy moci a môže viesť k sledovaniu, zadržaniu alebo pozbaveniu slobody fyzickej osoby, ako aj k iným nepriaznivým vplyvom na základné práva zaručené chartou. Najmä ak systém AI nie je trénovaný na vysokokvalitných údajoch, nespĺňa primerané požiadavky, pokiaľ ide o jeho výkon, presnosť alebo spoľahlivosť, alebo nie je pred uvedením na trh alebo do prevádzky riadne dizajnovaný a otestovaný, môže ľudí selektovať diskriminačným alebo inak nesprávnym či nespravodlivým spôsobom. Okrem toho by mohlo byť obmedzené uplatňovanie dôležitých procesných základných práv, ako je právo na účinný prostriedok nápravy a na spravodlivý proces, ako aj právo na obhajobu a prezumpcia neviny, najmä ak takéto systémy AI nie sú dostatočne transparentné, vysvetliteľné a zdokumentované. Preto je vhodné klasifikovať ako vysokorizikové viaceré systémy AI, pokiaľ je ich používanie povolené na základe relevantného práva Únie alebo vnútroštátneho práva, určené na používanie v kontexte presadzovania práva, kde je presnosť, spoľahlivosť a transparentnosť obzvlášť dôležitá, aby sa zabránilo nepriaznivým vplyvom, zachovala dôvera verejnosti a zabezpečila zodpovednosť a účinná náprava. Vzhľadom na povahu predmetných činností a s nimi súvisiace riziká by tieto vysokorizikové systémy AI mali zahŕňať najmä systémy AI určené na používanie orgánmi presadzovania práva alebo v ich mene alebo inštitúciami, orgánmi, úradmi alebo agentúrami Únie na podporu orgánov presadzovania práva na posúdenie rizika, že sa fyzická osoba stane obeťou trestných činov, ako sú polygrafy a podobné nástroje, na hodnotenie spoľahlivosti dôkazov v priebehu vyšetrovania alebo stíhania trestných činov, a pokiaľ sa to týmto nariadením nezakazuje, aj na posúdenie rizika, že fyzická osoba spácha alebo opakovane spácha trestný čin, a to nielen na základe profilovania fyzických osôb, alebo na základe posúdenia osobnostných čŕt a charakteristík alebo trestnej činnosti fyzických osôb alebo skupín v minulosti, na profilovanie v priebehu odhaľovania, vyšetrovania alebo stíhania trestných činov. Systémy AI, ktoré sú osobitne určené na používanie v správnych konaniach daňovými a colnými orgánmi, ako aj finančnými spravodajskými jednotkami vykonávajúcimi administratívne úlohy spočívajúce v analýze informácií podľa právnych predpisov Únie v oblasti boja proti praniu špinavých peňazí, by sa nemali klasifikovať ako vysokorizikové systémy AI používané orgánmi presadzovania práva na účely predchádzania trestným činom, ich odhaľovania, vyšetrovania a stíhania. Používanie nástrojov AI orgánmi presadzovania práva a inými relevantnými orgánmi by sa nemalo stať faktorom nerovnosti alebo vylúčenia. Vplyv používania nástrojov AI na právo podozrivých osôb na obhajobu by sa nemal ignorovať, predovšetkým pokiaľ ide o ťažkosti pri získavaní zmysluplných informácií o fungovaní takýchto systémov a z toho vyplývajúce ťažkosti pri napadnutí ich výsledkov na súde, najmä zo strany vyšetrovaných fyzických osôb.