Recital 59

Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.

Konanie orgánov presadzovania práva zahŕňajúce určité použitia systémov AI sa vzhľadom na ich úlohu a zodpovednosť vyznačuje značným stupňom nerovnováhy moci a môže viesť k sledovaniu, zadržaniu alebo pozbaveniu slobody fyzickej osoby, ako aj k iným nepriaznivým vplyvom na základné práva zaručené chartou. Najmä ak systém AI nie je trénovaný na vysokokvalitných údajoch, nespĺňa primerané požiadavky, pokiaľ ide o jeho výkon, presnosť alebo spoľahlivosť, alebo nie je pred uvedením na trh alebo do prevádzky riadne dizajnovaný a otestovaný, môže ľudí selektovať diskriminačným alebo inak nesprávnym či nespravodlivým spôsobom. Okrem toho by mohlo byť obmedzené uplatňovanie dôležitých procesných základných práv, ako je právo na účinný prostriedok nápravy a na spravodlivý proces, ako aj právo na obhajobu a prezumpcia neviny, najmä ak takéto systémy AI nie sú dostatočne transparentné, vysvetliteľné a zdokumentované. Preto je vhodné klasifikovať ako vysokorizikové viaceré systémy AI, pokiaľ je ich používanie povolené na základe relevantného práva Únie alebo vnútroštátneho práva, určené na používanie v kontexte presadzovania práva, kde je presnosť, spoľahlivosť a transparentnosť obzvlášť dôležitá, aby sa zabránilo nepriaznivým vplyvom, zachovala dôvera verejnosti a zabezpečila zodpovednosť a účinná náprava. Vzhľadom na povahu predmetných činností a s nimi súvisiace riziká by tieto vysokorizikové systémy AI mali zahŕňať najmä systémy AI určené na používanie orgánmi presadzovania práva alebo v ich mene alebo inštitúciami, orgánmi, úradmi alebo agentúrami Únie na podporu orgánov presadzovania práva na posúdenie rizika, že sa fyzická osoba stane obeťou trestných činov, ako sú polygrafy a podobné nástroje, na hodnotenie spoľahlivosti dôkazov v priebehu vyšetrovania alebo stíhania trestných činov, a pokiaľ sa to týmto nariadením nezakazuje, aj na posúdenie rizika, že fyzická osoba spácha alebo opakovane spácha trestný čin, a to nielen na základe profilovania fyzických osôb, alebo na základe posúdenia osobnostných čŕt a charakteristík alebo trestnej činnosti fyzických osôb alebo skupín v minulosti, na profilovanie v priebehu odhaľovania, vyšetrovania alebo stíhania trestných činov. Systémy AI, ktoré sú osobitne určené na používanie v správnych konaniach daňovými a colnými orgánmi, ako aj finančnými spravodajskými jednotkami vykonávajúcimi administratívne úlohy spočívajúce v analýze informácií podľa právnych predpisov Únie v oblasti boja proti praniu špinavých peňazí, by sa nemali klasifikovať ako vysokorizikové systémy AI používané orgánmi presadzovania práva na účely predchádzania trestným činom, ich odhaľovania, vyšetrovania a stíhania. Používanie nástrojov AI orgánmi presadzovania práva a inými relevantnými orgánmi by sa nemalo stať faktorom nerovnosti alebo vylúčenia. Vplyv používania nástrojov AI na právo podozrivých osôb na obhajobu by sa nemal ignorovať, predovšetkým pokiaľ ide o ťažkosti pri získavaní zmysluplných informácií o fungovaní takýchto systémov a z toho vyplývajúce ťažkosti pri napadnutí ich výsledkov na súde, najmä zo strany vyšetrovaných fyzických osôb.