Recital 61

Certain AI systems intended for the administration of justice and democratic processes should be classified as high-risk, considering their potentially significant impact on democracy, the rule of law, individual freedoms as well as the right to an effective remedy and to a fair trial. In particular, to address the risks of potential biases, errors and opacity, it is appropriate to qualify as high-risk AI systems intended to be used by a judicial authority or on its behalf to assist judicial authorities in researching and interpreting facts and the law and in applying the law to a concrete set of facts. AI systems intended to be used by alternative dispute resolution bodies for those purposes should also be considered to be high-risk when the outcomes of the alternative dispute resolution proceedings produce legal effects for the parties. The use of AI tools can support the decision-making power of judges or judicial independence, but should not replace it: the final decision-making must remain a human-driven activity. The classification of AI systems as high-risk should not, however, extend to AI systems intended for purely ancillary administrative activities that do not affect the actual administration of justice in individual cases, such as anonymisation or pseudonymisation of judicial decisions, documents or data, communication between personnel, administrative tasks.

Určité systémy AI určené k výkonu spravedlnosti a demokratických procesů by měly být klasifikovány jako vysoce rizikové s ohledem na jejich potenciálně významný dopad na demokracii, právní stát a individuální svobody, jakož i na právo na účinnou ochranu a na spravedlivý proces. Jako vysoce rizikové je vhodné kvalifikovat systémy AI určené k použití justičním orgánem nebo jeho jménem, jejichž cílem je poskytovat pomoc justičním orgánům při zkoumání a výkladu skutečností a práva a při uplatňování práva na konkrétní soubor skutečností, zejména z důvodu řešení rizik možného zkreslení, chyb a neprůhlednosti. Systémy AI určené k použití subjekty pro alternativní řešení sporů pro tyto účely by měly být rovněž považovány za vysoce rizikové, pokud výsledky postupů alternativního řešení sporů mají pro strany právní účinky. Využívání nástrojů AI může podpořit rozhodovací pravomoci soudců nebo nezávislost soudnictví, ale nemělo by je nahrazovat, neboť konečné rozhodnutí musí i nadále přijímat člověk. Klasifikace systémů AI jako vysoce rizikových by se však neměla vztahovat na systémy AI určené pro čistě pomocné správní činnosti, které neovlivňují faktický výkon spravedlnosti v jednotlivých případech, jako je například anonymizace nebo pseudonymizace soudních rozhodnutí, dokumentů nebo údajů, komunikace mezi zaměstnanci, administrativní úkoly.