Recital 59

Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.

Opatření donucovacích orgánů zahrnující určitá použití systémů AI se s ohledem na jejich úlohu a odpovědnost vyznačují značným stupněm nerovnováhy sil a mohou vést ke sledování fyzické osoby, jejímu zatčení nebo zbavení svobody, jakož i k dalším nepříznivým dopadům na základní práva zaručená Listinou. Zejména v případě, že systém AI nebyl trénován na vysoce kvalitních datech, nesplňuje odpovídající požadavky na výkonnost, přesnost nebo spolehlivost nebo není před uvedením na trh nebo jiným uvedením do provozu řádně navržen a otestován, může dojít k vyčleňování osob diskriminačním nebo jinak nesprávným nebo nespravedlivým způsobem. Kromě toho by mohl být omezen výkon důležitých základních procesních práv, jako je právo na účinnou ochranu a na spravedlivý proces, jakož i právo na obhajobu a presumpce neviny, zejména pokud tyto systémy AI nejsou dostatečně transparentní, vysvětlitelné a zdokumentované. Je proto vhodné klasifikovat jako vysoce rizikové celou řadu systémů AI určených k použití v kontextu vymáhání práva, kde je přesnost, spolehlivost a transparentnost obzvláště důležitá, pokud je jejich používání povoleno podle příslušného práva Unie a vnitrostátního práva, s cílem zabránit nepříznivým dopadům, zachovat důvěru veřejnosti a zajistit odpovědnost a účinné opravné prostředky. S ohledem na povahu činností a na rizika s nimi spojená by tyto vysoce rizikové systémy AI měly zahrnovat zejména systémy AI určené k použití donucovacími orgány nebo jejich jménem nebo orgány, institucemi nebo jinými subjekty Unie na podporu donucovacích orgánů při posuzování rizika, že se fyzická osoba stane obětí trestných činů, jako jsou polygrafy a podobné nástroje, k vyhodnocování spolehlivosti důkazů v průběhu vyšetřování nebo stíhání trestných činů, a pokud to není zakázáno tímto nařízením, k posuzování rizika protiprávního jednání nebo opakovaného protiprávního jednání fyzické osoby, a to nejen na základě profilování fyzických osob, ani na základě posuzování osobnostních a povahových rysů nebo předchozí trestné činnosti fyzických osob nebo skupin, k profilování v průběhu odhalování, vyšetřování nebo stíhání trestných činů. Systémy AI výslovně určené k použití daňovými a celními orgány při správním řízení, jakož i finančními zpravodajskými jednotkami provádějícími administrativní úkoly při analýze informací podle práva Unie proti praní peněz, by neměly být klasifikovány jako vysoce rizikové systémy AI používané donucovacími orgány za účelem prevence, odhalování, vyšetřování a stíhání trestných činů. Využívání nástrojů AI donucovacími orgány a dalšími relevantními orgány by se nemělo stát faktorem nerovnosti nebo vyloučení. Dopad používání nástrojů AI na práva podezřelých osob na obhajobu by neměl být opomíjen, zejména pokud jde o obtíže při získávání důležitých informací o fungování těchto systémů a související problémy při vznesení námitek proti jejich výsledkům u soudu, zejména ze strany vyšetřovaných fyzických osob.