Motyw 59

Ze względu na rolę i odpowiedzialność organów ścigania ich działania związane z niektórymi rodzajami wykorzystania systemów AI charakteryzują się znacznym brakiem równowagi sił i mogą prowadzić do objęcia osoby fizycznej nadzorem, do jej aresztowania lub pozbawienia wolności, jak również do zaistnienia innego niepożądanego wpływu na prawa podstawowe zagwarantowane w Karcie. W szczególności jeżeli system AI nie jest trenowany z wykorzystaniem danych wysokiej jakości, nie spełnia odpowiednich wymogów pod względem skuteczności jego działania, dokładności lub solidności lub nie został odpowiednio zaprojektowany i przetestowany przed wprowadzeniem do obrotu lub oddaniem do użytku w inny sposób, może on wskazywać osoby w sposób dyskryminacyjny lub w inny nieprawidłowy lub niesprawiedliwy sposób. Ponadto korzystanie z istotnych procesowych praw podstawowych, takich jak prawo do skutecznego środka prawnego i dostępu do bezstronnego sądu, jak również prawo do obrony i domniemania niewinności, może być utrudnione, w szczególności w przypadku gdy takie systemy AI nie są w wystarczającym stopniu przejrzyste, wyjaśnialne i udokumentowane. W związku z tym szereg systemów AI przeznaczonych do wykorzystania w kontekście ścigania przestępstw, w którym dokładność, wiarygodność i przejrzystość są szczególnie ważne dla uniknięcia niepożądanego wpływu, zachowania zaufania publicznego oraz zapewnienia odpowiedzialności i skutecznego dochodzenia roszczeń, należy klasyfikować jako systemy wysokiego ryzyka, o ile ich wykorzystanie jest dozwolone zgodnie z właściwymi przepisami prawa Unii i prawa krajowego. Ze względu na charakter działań i związane z nimi ryzyko do takich systemów AI wysokiego ryzyka należy zaliczyć w szczególności systemy AI przeznaczone do wykorzystywania przez organy ścigania lub w ich imieniu lub przez instytucje, organy i jednostki organizacyjne Unii w ramach wsparcia udzielanego organom ścigania w zakresie oceny ryzyka, że osoba fizyczna stanie się ofiarą przestępstwa, takie jak wariografy i podobne narzędzia, do oceny wiarygodności dowodów podczas prowadzenia postępowań przygotowawczych w sprawie przestępstw lub ich ścigania oraz, o ile nie jest to zakazane na mocy niniejszego rozporządzenia, do oceny ryzyka popełnienia przestępstwa lub ponownego popełnienia przestępstwa przez osobę fizyczną niewyłącznie na podstawie profilowania osób fizycznych lub oceny cech osobowości i charakteru lub wcześniejszego zachowania przestępnego osób fizycznych lub grup, do profilowania w trakcie wykrywania przestępstw, prowadzenia postępowań przygotowawczych w ich sprawie lub ich ścigania. Systemów AI przeznaczonych specjalnie do wykorzystania w postępowaniach administracyjnych prowadzonych przez organy podatkowe i celne, jak również przez jednostki analityki finansowej wykonujące zadania administracyjne dotyczące analizy informacji na podstawie przepisów prawa Unii dotyczących przeciwdziałania praniu pieniędzy, nie należy zaklasyfikować jako systemów AI wysokiego ryzyka wykorzystywanych przez organy ścigania do celów zapobiegania przestępstwom, ich wykrywania, prowadzenia postępowań przygotowawczych w ich sprawie i ich ścigania. Wykorzystanie narzędzi sztucznej inteligencji przez organy ścigania i inne odpowiednie organy nie powinno stać się czynnikiem powodującym nierówności lub wykluczenie. Nie należy ignorować wpływu wykorzystania narzędzi AI na prawo podejrzanych do obrony, w szczególności na trudności w uzyskaniu istotnych informacji na temat funkcjonowania tych systemów oraz wynikające z tego trudności w kwestionowaniu dostarczanych przez nie wyników przed sądem, w szczególności przez osoby fizyczne objęte postępowaniem przygotowawczym.

Compte tenu du rôle et de la responsabilité des autorités répressives, les actions menées par celles-ci qui supposent certaines utilisations de systèmes d’IA sont caractérisées par un degré important de déséquilibre des forces et peuvent conduire à la surveillance, à l’arrestation ou à la privation de la liberté d’une personne physique ainsi qu’à d’autres conséquences négatives sur des droits fondamentaux garantis par la Charte. En particulier, si le système d’IA n’est pas entraîné avec des données de haute qualité, ne répond pas aux exigences voulues en termes de performance, d’exactitude ou de robustesse, ou n’est pas correctement conçu et testé avant d’être mis sur le marché ou mis en service, il risque de traiter des personnes de manière discriminatoire ou, plus généralement, incorrecte ou injuste. En outre, l’exercice de droits fondamentaux procéduraux importants, tels que le droit à un recours effectif et à accéder à un tribunal impartial, ainsi que les droits de la défense et la présomption d’innocence, pourrait être entravé, en particulier lorsque ces systèmes d’IA ne sont pas suffisamment transparents, explicables et documentés. Il convient donc de classer comme étant à haut risque, dans la mesure où leur utilisation est autorisée par le droit de l’Union et le droit national applicables, un certain nombre de systèmes d’IA destinés à être utilisés dans un contexte répressif où l’exactitude, la fiabilité et la transparence sont particulièrement importantes pour éviter des conséquences négatives, conserver la confiance du public et garantir que des comptes soient rendus et que des recours puissent être exercés. Compte tenu de la nature des activités et des risques y afférents, ces systèmes d’IA à haut risque devraient inclure en particulier les systèmes d’IA destinés à être utilisés par les autorités répressives ou pour leur compte ou par les institutions, organes et organismes de l’Union pour aider les autorités répressives à évaluer le risque qu’une personne physique ne devienne victime d’infractions pénales, tels que les polygraphes et instruments similaires, à évaluer la fiabilité des preuves dans le cadre d’enquêtes ou de poursuites relatives à des infractions pénales, et, dans la mesure où cela n’est pas interdit par le présent règlement, à évaluer le risque d’infraction ou de récidive d’une personne physique non seulement sur la base du profilage de personnes physiques, mais aussi sur la base de l’évaluation des traits de personnalité, des caractéristiques ou des antécédents judiciaires de personnes physiques ou de groupes, à des fins de profilage dans le cadre de la détection d’infractions pénales, d’enquêtes et de poursuites en la matière. Les systèmes d’IA spécifiquement destinés à être utilisés pour des procédures administratives par les autorités fiscales et douanières ainsi que par les cellules de renseignement financier effectuant des tâches administratives d’analyse d’informations dans le cadre de la législation de l’Union relative à la lutte contre le blanchiment des capitaux ne devraient pas être classés comme des systèmes d’IA à haut risque utilisés par les autorités répressives à des fins de prévention et de détection des infractions pénales, d’enquêtes et de poursuites en la matière. L’utilisation des outils d’IA par les autorités répressives et d’autres autorités pertinentes ne devrait pas devenir un facteur d’inégalité ou d’exclusion. Les conséquences de l’utilisation des outils d’IA sur les droits de la défense des suspects ne devraient pas être ignorées, en particulier la difficulté d’obtenir des informations utiles sur le fonctionnement de ces outils et, partant, la difficulté de saisir la justice pour contester leurs résultats, en particulier pour les personnes physiques faisant l’objet d’une enquête.