Motyw 59

Ze względu na rolę i odpowiedzialność organów ścigania ich działania związane z niektórymi rodzajami wykorzystania systemów AI charakteryzują się znacznym brakiem równowagi sił i mogą prowadzić do objęcia osoby fizycznej nadzorem, do jej aresztowania lub pozbawienia wolności, jak również do zaistnienia innego niepożądanego wpływu na prawa podstawowe zagwarantowane w Karcie. W szczególności jeżeli system AI nie jest trenowany z wykorzystaniem danych wysokiej jakości, nie spełnia odpowiednich wymogów pod względem skuteczności jego działania, dokładności lub solidności lub nie został odpowiednio zaprojektowany i przetestowany przed wprowadzeniem do obrotu lub oddaniem do użytku w inny sposób, może on wskazywać osoby w sposób dyskryminacyjny lub w inny nieprawidłowy lub niesprawiedliwy sposób. Ponadto korzystanie z istotnych procesowych praw podstawowych, takich jak prawo do skutecznego środka prawnego i dostępu do bezstronnego sądu, jak również prawo do obrony i domniemania niewinności, może być utrudnione, w szczególności w przypadku gdy takie systemy AI nie są w wystarczającym stopniu przejrzyste, wyjaśnialne i udokumentowane. W związku z tym szereg systemów AI przeznaczonych do wykorzystania w kontekście ścigania przestępstw, w którym dokładność, wiarygodność i przejrzystość są szczególnie ważne dla uniknięcia niepożądanego wpływu, zachowania zaufania publicznego oraz zapewnienia odpowiedzialności i skutecznego dochodzenia roszczeń, należy klasyfikować jako systemy wysokiego ryzyka, o ile ich wykorzystanie jest dozwolone zgodnie z właściwymi przepisami prawa Unii i prawa krajowego. Ze względu na charakter działań i związane z nimi ryzyko do takich systemów AI wysokiego ryzyka należy zaliczyć w szczególności systemy AI przeznaczone do wykorzystywania przez organy ścigania lub w ich imieniu lub przez instytucje, organy i jednostki organizacyjne Unii w ramach wsparcia udzielanego organom ścigania w zakresie oceny ryzyka, że osoba fizyczna stanie się ofiarą przestępstwa, takie jak wariografy i podobne narzędzia, do oceny wiarygodności dowodów podczas prowadzenia postępowań przygotowawczych w sprawie przestępstw lub ich ścigania oraz, o ile nie jest to zakazane na mocy niniejszego rozporządzenia, do oceny ryzyka popełnienia przestępstwa lub ponownego popełnienia przestępstwa przez osobę fizyczną niewyłącznie na podstawie profilowania osób fizycznych lub oceny cech osobowości i charakteru lub wcześniejszego zachowania przestępnego osób fizycznych lub grup, do profilowania w trakcie wykrywania przestępstw, prowadzenia postępowań przygotowawczych w ich sprawie lub ich ścigania. Systemów AI przeznaczonych specjalnie do wykorzystania w postępowaniach administracyjnych prowadzonych przez organy podatkowe i celne, jak również przez jednostki analityki finansowej wykonujące zadania administracyjne dotyczące analizy informacji na podstawie przepisów prawa Unii dotyczących przeciwdziałania praniu pieniędzy, nie należy zaklasyfikować jako systemów AI wysokiego ryzyka wykorzystywanych przez organy ścigania do celów zapobiegania przestępstwom, ich wykrywania, prowadzenia postępowań przygotowawczych w ich sprawie i ich ścigania. Wykorzystanie narzędzi sztucznej inteligencji przez organy ścigania i inne odpowiednie organy nie powinno stać się czynnikiem powodującym nierówności lub wykluczenie. Nie należy ignorować wpływu wykorzystania narzędzi AI na prawo podejrzanych do obrony, w szczególności na trudności w uzyskaniu istotnych informacji na temat funkcjonowania tych systemów oraz wynikające z tego trudności w kwestionowaniu dostarczanych przez nie wyników przed sądem, w szczególności przez osoby fizyczne objęte postępowaniem przygotowawczym.

Dado su papel y su responsabilidad, las actuaciones de las autoridades garantes del cumplimiento del Derecho que implican determinados usos de los sistemas de IA se caracterizan por un importante desequilibrio de poder y pueden dar lugar a la vigilancia, la detención o la privación de libertad de una persona física, así como tener otros efectos negativos sobre los derechos fundamentales consagrados en la Carta. En particular, si el sistema de IA no está entrenado con datos de buena calidad, no cumple los requisitos adecuados en términos de rendimiento, de precisión o de solidez, o no se diseña y prueba debidamente antes de introducirlo en el mercado o ponerlo en servicio, es posible que señale a personas de manera discriminatoria, incorrecta o injusta. Además, podría impedir el ejercicio de importantes derechos procesales fundamentales, como el derecho a la tutela judicial efectiva y a un juez imparcial, así como el derecho a la defensa y a la presunción de inocencia, sobre todo cuando dichos sistemas de IA no sean lo suficientemente transparentes y explicables ni estén suficientemente bien documentados. Por consiguiente, en la medida en que su uso esté permitido conforme al Derecho de la Unión y nacional pertinente, procede clasificar como de alto riesgo varios sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y unas vías de recurso efectivas. En vista de la naturaleza de las actividades y de los riesgos conexos, entre dichos sistemas de IA de alto riesgo deben incluirse, en particular, los sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras, para evaluar el riesgo de que una persona física sea víctima de delitos, como los polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y, en la medida en que no esté prohibido conforme al presente Reglamento, para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. Los sistemas de IA destinados específicamente a ser utilizados en procesos administrativos por las autoridades fiscales y aduaneras y las unidades de inteligencia financiera que desempeñan tareas administrativas de análisis de información de conformidad con el Derecho de la Unión en materia de lucha contra el blanqueo de capitales no deben clasificarse como sistemas de IA de alto riesgo usados por las autoridades garantes del cumplimiento del Derecho con el fin de prevenir, detectar, investigar y enjuiciar delitos. El uso de herramientas de IA por parte de las autoridades garantes del cumplimiento del Derecho y otras autoridades pertinentes no debe convertirse en un factor de desigualdad o exclusión. No debe ignorarse el impacto del uso de herramientas de IA en los derechos de defensa de los sospechosos, en particular la dificultad para obtener información significativa sobre el funcionamiento de dichos sistemas y la consiguiente dificultad para impugnar sus resultados ante los tribunales, en particular por parte de las personas físicas investigadas.