Considérant 61

Certains systèmes d’IA destinés à être utilisés pour l’administration de la justice et les processus démocratiques devraient être classés comme étant à haut risque, compte tenu de leur incidence potentiellement significative sur la démocratie, l’état de droit, les libertés individuelles ainsi que le droit à un recours effectif et à accéder à un tribunal impartial. En particulier, pour faire face aux risques de biais, d’erreurs et d’opacité, il convient de classer comme étant à haut risque les systèmes d’IA destinés à être utilisés par une autorité judiciaire ou pour le compte de celle-ci pour aider les autorités judiciaires à rechercher et à interpréter les faits et la loi, et à appliquer la loi à un ensemble concret de faits. Les systèmes d’IA destinés à être utilisés par des organismes de règlement extrajudiciaire des litiges à ces fins devraient également être considérés comme étant à haut risque lorsque les résultats des procédures de règlement extrajudiciaire des litiges produisent des effets juridiques pour les parties. L’utilisation d’outils d’IA peut soutenir le pouvoir de décision des juges ou l’indépendance judiciaire, mais ne devrait pas les remplacer, car la décision finale doit rester une activité humaine. La classification des systèmes d’IA comme étant à haut risque ne devrait cependant pas s’étendre aux systèmes d’IA destinés à être utilisés pour des activités administratives purement accessoires qui n’ont aucune incidence sur l’administration réelle de la justice dans des cas individuels, telles que l’anonymisation ou la pseudonymisation de décisions judiciaires, de documents ou de données, la communication entre membres du personnel ou les tâches administratives.

Bestimmte KI-Systeme, die für die Rechtspflege und demokratische Prozesse bestimmt sind, sollten angesichts ihrer möglichen erheblichen Auswirkungen auf die Demokratie, die Rechtsstaatlichkeit, die individuellen Freiheiten sowie das Recht auf einen wirksamen Rechtsbehelf und ein unparteiisches Gericht als hochriskant eingestuft werden. Um insbesondere den Risiken möglicher Verzerrungen, Fehler und Undurchsichtigkeiten zu begegnen, sollten KI-Systeme, die von einer Justizbehörde oder in ihrem Auftrag dazu genutzt werden sollen, Justizbehörden bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen, als hochriskant eingestuft werden. KI-Systeme, die von Stellen für die alternative Streitbeilegung für diese Zwecke genutzt werden sollen, sollten ebenfalls als hochriskant gelten, wenn die Ergebnisse der alternativen Streitbeilegung Rechtswirkung für die Parteien entfalten. Der Einsatz von KI-Instrumenten kann die Entscheidungsgewalt von Richtern oder die Unabhängigkeit der Justiz unterstützen, sollte sie aber nicht ersetzen; die endgültige Entscheidungsfindung muss eine von Menschen gesteuerte Tätigkeit bleiben. Die Einstufung von KI-Systemen als hochriskant sollte sich jedoch nicht auf KI-Systeme erstrecken, die für rein begleitende Verwaltungstätigkeiten bestimmt sind, die die tatsächliche Rechtspflege in Einzelfällen nicht beeinträchtigen, wie etwa die Anonymisierung oder Pseudonymisierung gerichtlicher Urteile, Dokumente oder Daten, die Kommunikation zwischen dem Personal oder Verwaltungsaufgaben.