Considerando 59

Dado su papel y su responsabilidad, las actuaciones de las autoridades garantes del cumplimiento del Derecho que implican determinados usos de los sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como tener otros efectos negativos sobre los derechos fundamentales consagrados en la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos adecuados en términos de rendimiento, de precisión o de solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, es posible que señale a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén suficientemente bien documentados. Por consiguiente, en la medida en que su uso esté permitido conforme al Derecho de la Unión y nacional pertinente, procede clasificar como de alto riesgo varios sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y unas vías de recurso efectivas. En vista de la naturaleza de las actividades y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras, para evaluar el riesgo de que una persona física sea víctima de delitos, como los polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y, en la medida en que no esté prohibido conforme al presente Reglamento, para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. Los sistemas de IA destinados específicamente a ser utilizados en procesos administrativos por las autoridades fiscales y aduaneras y las unidades de inteligencia financiera que desempeñan tareas administrativas de análisis de información de conformidad con el Derecho de la Unión en materia de lucha contra el blanqueo de capitales no deben clasificarse como sistemas de IA de alto riesgo usados por las autoridades garantes del cumplimiento del Derecho con el fin de prevenir, detectar, investigar y enjuiciar delitos. El uso de herramientas de IA por parte de las autoridades garantes del cumplimiento del Derecho y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad para obtener información significativa sobre el funcionamiento de dichos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas.

Opatření donucovacích orgánů zahrnující určitá použití systémů AI se s ohledem na jejich úlohu a odpovědnost vyznačují značným stupněm nerovnováhy sil a mohou vést ke sledování fyzické osoby, jejímu zatčení nebo zbavení svobody, jakož i k dalším nepříznivým dopadům na základní práva zaručená Listinou. Zejména v případě, že systém AI nebyl trénován na vysoce kvalitních datech, nesplňuje odpovídající požadavky na výkonnost, přesnost nebo spolehlivost nebo není před uvedením na trh nebo jiným uvedením do provozu řádně navržen a otestován, může dojít k vyčleňování osob diskriminačním nebo jinak nesprávným nebo nespravedlivým způsobem. Kromě toho by mohl být omezen výkon důležitých základních procesních práv, jako je právo na účinnou ochranu a na spravedlivý proces, jakož i právo na obhajobu a presumpce neviny, zejména pokud tyto systémy AI nejsou dostatečně transparentní, vysvětlitelné a zdokumentované. Je proto vhodné klasifikovat jako vysoce rizikové celou řadu systémů AI určených k použití v kontextu vymáhání práva, kde je přesnost, spolehlivost a transparentnost obzvláště důležitá, pokud je jejich používání povoleno podle příslušného práva Unie a vnitrostátního práva, s cílem zabránit nepříznivým dopadům, zachovat důvěru veřejnosti a zajistit odpovědnost a účinné opravné prostředky. S ohledem na povahu činností a na rizika s nimi spojená by tyto vysoce rizikové systémy AI měly zahrnovat zejména systémy AI určené k použití donucovacími orgány nebo jejich jménem nebo orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů při posuzování rizika, že se fyzická osoba stane obětí trestných činů, jako jsou polygrafy a podobné nástroje, k vyhodnocování spolehlivosti důkazů v průběhu vyšetřování nebo stíhání trestných činů, a pokud to není zakázáno tímto nařízením, k posuzování rizika protiprávního jednání nebo opakovaného protiprávního jednání fyzické osoby, a to nejen na základě profilování fyzických osob, ani na základě posuzování osobnostních a povahových rysů nebo předchozí trestné činnosti fyzických osob nebo skupin, k profilování v průběhu odhalování, vyšetřování nebo stíhání trestných činů. Systémy AI výslovně určené k použití daňovými a celními orgány při správním řízení, jakož i finančními zpravodajskými jednotkami provádějícími administrativní úkoly při analýze informací podle práva Unie proti praní peněz, by neměly být klasifikovány jako vysoce rizikové systémy AI používané donucovacími orgány za účelem prevence, odhalování, vyšetřování a stíhání trestných činů. Využívání nástrojů AI donucovacími orgány a dalšími relevantními orgány by se nemělo stát faktorem nerovnosti nebo vyloučení. Dopad používání nástrojů AI na práva podezřelých osob na obhajobu by neměl být opomíjen, zejména pokud jde o obtíže při získávání důležitých informací o fungování těchto systémů a související problémy při vznesení námitek proti jejich výsledkům u soudu, zejména ze strany vyšetřovaných fyzických osob.