Odôvodnenie 61

Niektoré systémy AI určené na výkon spravodlivosti a demokratických procesov by sa mali klasifikovať ako vysokorizikové vzhľadom na ich potenciálne významný vplyv na demokraciu, právny štát, osobné slobody, ako aj právo na účinný prostriedok nápravy a na spravodlivý proces. Ako vysokorizikové je vhodné kvalifikovať systémy AI určené na použitie zo strany justičného orgánu alebo v jeho mene na pomoc justičným orgánom pri skúmaní a výklade skutkových okolností a práva a pri uplatňovaní práva na konkrétny súbor skutkových okolností, najmä z dôvodu riešenia rizík možného skreslenia, chýb a nepriehľadnosti. Systémy AI, ktoré majú používať subjekty alternatívneho riešenia sporov na tieto účely, by sa takisto mali považovať za vysokorizikové, ak výsledky konania o alternatívnom riešení sporov majú pre strany právne účinky. Používanie nástrojov AI môže podporiť rozhodovaciu právomoc sudcov alebo nezávislosť súdnictva, ale nemalo by ju nahrádzať: konečné rozhodovanie musí zostať ľudskou činnosťou. Kvalifikácia systémov AI ako vysokorizikových by sa však nemala vzťahovať na systémy AI určené na čisto pomocné administratívne činnosti, ktoré nemajú vplyv na samotný výkon spravodlivosti v jednotlivých prípadoch, ako napríklad anonymizácia alebo pseudonymizácia súdnych rozhodnutí, dokumentov alebo údajov, komunikácia medzi zamestnancami alebo administratívne úlohy.

Deben clasificarse como de alto riesgo determinados sistemas de IA destinados a la administración de justicia y los procesos democráticos, dado que pueden tener efectos potencialmente importantes para la democracia, el Estado de Derecho, las libertades individuales y el derecho a la tutela judicial efectiva y a un juez imparcial. En particular, a fin de hacer frente al riesgo de posibles sesgos, errores y opacidades, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos. También deben considerarse de alto riesgo los sistemas de IA destinados a ser utilizados por los organismos de resolución alternativa de litigios con esos fines, cuando los resultados de los procedimientos de resolución alternativa de litigios surtan efectos jurídicos para las partes. La utilización de herramientas de IA puede apoyar el poder de decisión de los jueces o la independencia judicial, pero no debe substituirlas: la toma de decisiones finales debe seguir siendo una actividad humana. No obstante, la clasificación de los sistemas de IA como de alto riesgo no debe hacerse extensiva a los sistemas de IA destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia propiamente dicha en casos concretos, como la anonimización o seudonimización de resoluciones judiciales, documentos o datos, la comunicación entre los miembros del personal o las tareas administrativas.