Recital 59

Given their role and responsibility, actions by law enforcement authorities involving certain uses of AI systems are characterised by a significant degree of power imbalance and may lead to surveillance, arrest or deprivation of a natural person’s liberty as well as other adverse impacts on fundamental rights guaranteed in the Charter. In particular, if the AI system is not trained with high-quality data, does not meet adequate requirements in terms of its performance, its accuracy or robustness, or is not properly designed and tested before being put on the market or otherwise put into service, it may single out people in a discriminatory or otherwise incorrect or unjust manner. Furthermore, the exercise of important procedural fundamental rights, such as the right to an effective remedy and to a fair trial as well as the right of defence and the presumption of innocence, could be hampered, in particular, where such AI systems are not sufficiently transparent, explainable and documented. It is therefore appropriate to classify as high-risk, insofar as their use is permitted under relevant Union and national law, a number of AI systems intended to be used in the law enforcement context where accuracy, reliability and transparency is particularly important to avoid adverse impacts, retain public trust and ensure accountability and effective redress. In view of the nature of the activities and the risks relating thereto, those high-risk AI systems should include in particular AI systems intended to be used by or on behalf of law enforcement authorities or by Union institutions, bodies, offices, or agencies in support of law enforcement authorities for assessing the risk of a natural person to become a victim of criminal offences, as polygraphs and similar tools, for the evaluation of the reliability of evidence in in the course of investigation or prosecution of criminal offences, and, insofar as not prohibited under this Regulation, for assessing the risk of a natural person offending or reoffending not solely on the basis of the profiling of natural persons or the assessment of personality traits and characteristics or the past criminal behaviour of natural persons or groups, for profiling in the course of detection, investigation or prosecution of criminal offences. AI systems specifically intended to be used for administrative proceedings by tax and customs authorities as well as by financial intelligence units carrying out administrative tasks analysing information pursuant to Union anti-money laundering law should not be classified as high-risk AI systems used by law enforcement authorities for the purpose of prevention, detection, investigation and prosecution of criminal offences. The use of AI tools by law enforcement and other relevant authorities should not become a factor of inequality, or exclusion. The impact of the use of AI tools on the defence rights of suspects should not be ignored, in particular the difficulty in obtaining meaningful information on the functioning of those systems and the resulting difficulty in challenging their results in court, in particular by natural persons under investigation.

Compte tenu du rôle et de la responsabilité des autorités répressives, les actions menées par celles-ci qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la Charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences voulues en termes de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et testé avant d’être mis sur le marché ou mis en service, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice de droits fondamentaux procéduraux importants, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter des conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours puissent être exercés. Compte tenu de la nature des activités et des risques y afférents, ces systèmes d’IA à haut risque devraient inclure en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou pour leur compte ou par les institutions, organes et organismes de l’Union pour aider les autorités répressives à évaluer le risque qu’une personne physique ne devienne victime d’infractions pénales, tels que les polygraphes et instruments similaires, à évaluer la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites relatives à des infractions pénales, et, dans la mesure où cela n’est pas interdit par le présent règlement, à évaluer le risque d’infraction ou de récidive d’une personne physique non seulement sur la base du profilage de personnes physiques, mais aussi sur la base de l’évaluation des traits de personnalité, des caractéristiques ou des antécédents judiciaires de personnes physiques ou de groupes, à des fins de profilage dans le cadre de la détection d’infractions pénales, d’enquêtes et de poursuites en la matière. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ainsi que par les cellules de renseignement financier effectuant des tâches administratives d’analyse d’informations dans le cadre de la législation de l’Union relative à la lutte contre le blanchiment des capitaux ne devraient pas être classés comme des systèmes d’IA à haut risque utilisés par les autorités répressives à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière. L’utilisation des outils d’IA par les autorités répressives et d’autres autorités pertinentes ne devrait pas devenir un facteur d’inégalité ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, en particulier la difficulté d’obtenir des informations utiles sur le fonctionnement de ces outils et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes physiques faisant l’objet d’une enquête.