Considerando 59

Dado su papel y su responsabilidad, las actuaciones de las autoridades garantes del cumplimiento del Derecho que implican determinados usos de los sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como tener otros efectos negativos sobre los derechos fundamentales consagrados en la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos adecuados en términos de rendimiento, de precisión o de solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, es posible que señale a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén suficientemente bien documentados. Por consiguiente, en la medida en que su uso esté permitido conforme al Derecho de la Unión y nacional pertinente, procede clasificar como de alto riesgo varios sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y unas vías de recurso efectivas. En vista de la naturaleza de las actividades y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras, para evaluar el riesgo de que una persona física sea víctima de delitos, como los polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y, en la medida en que no esté prohibido conforme al presente Reglamento, para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. Los sistemas de IA destinados específicamente a ser utilizados en procesos administrativos por las autoridades fiscales y aduaneras y las unidades de inteligencia financiera que desempeñan tareas administrativas de análisis de información de conformidad con el Derecho de la Unión en materia de lucha contra el blanqueo de capitales no deben clasificarse como sistemas de IA de alto riesgo usados por las autoridades garantes del cumplimiento del Derecho con el fin de prevenir, detectar, investigar y enjuiciar delitos. El uso de herramientas de IA por parte de las autoridades garantes del cumplimiento del Derecho y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad para obtener información significativa sobre el funcionamiento de dichos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas.

Konanie orgánov presadzovania práva zahŕňajúce určité použitia systémov AI sa vzhľadom na ich úlohu a zodpovednosť vyznačuje značným stupňom nerovnováhy moci a môže viesť k sledovaniu, zadržaniu alebo pozbaveniu slobody fyzickej osoby, ako aj k iným nepriaznivým vplyvom na základné práva zaručené chartou. Najmä ak systém AI nie je trénovaný na vysokokvalitných údajoch, nespĺňa primerané požiadavky, pokiaľ ide o jeho výkon, presnosť alebo spoľahlivosť, alebo nie je pred uvedením na trh alebo do prevádzky riadne dizajnovaný a otestovaný, môže ľudí selektovať diskriminačným alebo inak nesprávnym či nespravodlivým spôsobom. Okrem toho by mohlo byť obmedzené uplatňovanie dôležitých procesných základných práv, ako je právo na účinný prostriedok nápravy a na spravodlivý proces, ako aj právo na obhajobu a prezumpcia neviny, najmä ak takéto systémy AI nie sú dostatočne transparentné, vysvetliteľné a zdokumentované. Preto je vhodné klasifikovať ako vysokorizikové viaceré systémy AI, pokiaľ je ich používanie povolené na základe relevantného práva Únie alebo vnútroštátneho práva, určené na používanie v kontexte presadzovania práva, kde je presnosť, spoľahlivosť a transparentnosť obzvlášť dôležitá, aby sa zabránilo nepriaznivým vplyvom, zachovala dôvera verejnosti a zabezpečila zodpovednosť a účinná náprava. Vzhľadom na povahu predmetných činností a s nimi súvisiace riziká by tieto vysokorizikové systémy AI mali zahŕňať najmä systémy AI určené na používanie orgánmi presadzovania práva alebo v ich mene alebo inštitúciami, orgánmi, úradmi alebo agentúrami Únie na podporu orgánov presadzovania práva na posúdenie rizika, že sa fyzická osoba stane obeťou trestných činov, ako sú polygrafy a podobné nástroje, na hodnotenie spoľahlivosti dôkazov v priebehu vyšetrovania alebo stíhania trestných činov, a pokiaľ sa to týmto nariadením nezakazuje, aj na posúdenie rizika, že fyzická osoba spácha alebo opakovane spácha trestný čin, a to nielen na základe profilovania fyzických osôb, alebo na základe posúdenia osobnostných čŕt a charakteristík alebo trestnej činnosti fyzických osôb alebo skupín v minulosti, na profilovanie v priebehu odhaľovania, vyšetrovania alebo stíhania trestných činov. Systémy AI, ktoré sú osobitne určené na používanie v správnych konaniach daňovými a colnými orgánmi, ako aj finančnými spravodajskými jednotkami vykonávajúcimi administratívne úlohy spočívajúce v analýze informácií podľa právnych predpisov Únie v oblasti boja proti praniu špinavých peňazí, by sa nemali klasifikovať ako vysokorizikové systémy AI používané orgánmi presadzovania práva na účely predchádzania trestným činom, ich odhaľovania, vyšetrovania a stíhania. Používanie nástrojov AI orgánmi presadzovania práva a inými relevantnými orgánmi by sa nemalo stať faktorom nerovnosti alebo vylúčenia. Vplyv používania nástrojov AI na právo podozrivých osôb na obhajobu by sa nemal ignorovať, predovšetkým pokiaľ ide o ťažkosti pri získavaní zmysluplných informácií o fungovaní takýchto systémov a z toho vyplývajúce ťažkosti pri napadnutí ich výsledkov na súde, najmä zo strany vyšetrovaných fyzických osôb.