Considerando 61

Alcuni sistemi di IA destinati all'amministrazione della giustizia e ai processi democratici dovrebbero essere classificati come sistemi ad alto rischio, in considerazione del loro impatto potenzialmente significativo sulla democrazia, sullo Stato di diritto, sulle libertà individuali e sul diritto a un ricorso effettivo e a un giudice imparziale. È in particolare opportuno, al fine di far fronte ai rischi di potenziali distorsioni, errori e opacità, classificare come ad alto rischio i sistemi di IA destinati a essere utilizzati da un'autorità giudiziaria o per suo conto per assistere le autorità giudiziarie nelle attività di ricerca e interpretazione dei fatti e del diritto e nell'applicazione della legge a una serie concreta di fatti. Anche i sistemi di IA destinati a essere utilizzati dagli organismi di risoluzione alternativa delle controversie a tali fini dovrebbero essere considerati ad alto rischio quando gli esiti dei procedimenti di risoluzione alternativa delle controversie producono effetti giuridici per le parti. L'utilizzo di strumenti di IA può fornire sostegno al potere decisionale dei giudici o all'indipendenza del potere giudiziario, ma non dovrebbe sostituirlo: il processo decisionale finale deve rimanere un'attività a guida umana. Non è tuttavia opportuno estendere la classificazione dei sistemi di IA come ad alto rischio ai sistemi di IA destinati ad attività amministrative puramente accessorie, che non incidono sull'effettiva amministrazione della giustizia nei singoli casi, quali l'anonimizzazione o la pseudonimizzazione di decisioni, documenti o dati giudiziari, la comunicazione tra il personale, i compiti amministrativi.

Niektoré systémy AI určené na výkon spravodlivosti a demokratických procesov by sa mali klasifikovať ako vysokorizikové vzhľadom na ich potenciálne významný vplyv na demokraciu, právny štát, osobné slobody, ako aj právo na účinný prostriedok nápravy a na spravodlivý proces. Ako vysokorizikové je vhodné kvalifikovať systémy AI určené na použitie zo strany justičného orgánu alebo v jeho mene na pomoc justičným orgánom pri skúmaní a výklade skutkových okolností a práva a pri uplatňovaní práva na konkrétny súbor skutkových okolností, najmä z dôvodu riešenia rizík možného skreslenia, chýb a nepriehľadnosti. Systémy AI, ktoré majú používať subjekty alternatívneho riešenia sporov na tieto účely, by sa takisto mali považovať za vysokorizikové, ak výsledky konania o alternatívnom riešení sporov majú pre strany právne účinky. Používanie nástrojov AI môže podporiť rozhodovaciu právomoc sudcov alebo nezávislosť súdnictva, ale nemalo by ju nahrádzať: konečné rozhodovanie musí zostať ľudskou činnosťou. Kvalifikácia systémov AI ako vysokorizikových by sa však nemala vzťahovať na systémy AI určené na čisto pomocné administratívne činnosti, ktoré nemajú vplyv na samotný výkon spravodlivosti v jednotlivých prípadoch, ako napríklad anonymizácia alebo pseudonymizácia súdnych rozhodnutí, dokumentov alebo údajov, komunikácia medzi zamestnancami alebo administratívne úlohy.