Considerando 42

En consonancia con la presunción de inocencia, las personas físicas de la Unión siempre deben ser juzgadas basándose en su comportamiento real. Las personas físicas nunca deben ser juzgadas a partir de comportamientos predichos por una IA basados únicamente en la elaboración de sus perfiles, en los rasgos o características de su personalidad, como la nacionalidad, el lugar de nacimiento, el lugar de residencia, el número de hijos, el nivel de endeudamiento o el tipo de vehículo, sin una valoración humana y sin que exista una sospecha razonable, basada en hechos objetivos comprobables, de que dicha persona está implicada en una actividad delictiva. Por lo tanto, deben prohibirse las evaluaciones de riesgos realizadas con respecto a personas físicas para evaluar la probabilidad de que cometan un delito o para predecir la comisión de un delito real o potencial basándose únicamente en la elaboración de perfiles de esas personas físicas o la evaluación de los rasgos y características de su personalidad. En cualquier caso, dicha prohibición no se refiere o atañe a los análisis de riesgos que no estén basados en la elaboración de perfiles de personas o en los rasgos y características de la personalidad de las personas, como los sistemas de IA que utilizan los análisis de riesgos para evaluar la probabilidad de fraude financiero por parte de empresas sobre la base de transacciones sospechosas o las herramientas de análisis de riesgo para predecir la probabilidad de localización de estupefacientes y mercancías ilícitas por parte de las autoridades aduaneras, por ejemplo basándose en las rutas de tráfico conocidas.

V souladu s presumpcí neviny by fyzické osoby v Unii měly být vždy posuzovány podle svého skutečného chování. Fyzické osoby by nikdy neměly být posuzovány na základě chování předvídaného AI pouze na základě jejich profilování, osobnostních rysů nebo charakteristik, jako je státní příslušnost, místo narození, místo bydliště, počet dětí, výše dluhu nebo typ vozidla, aniž by na základě objektivních ověřitelných skutečností existovalo důvodné podezření, že se dotčená osoba podílí na trestné činnosti, a aniž by bylo provedeno posouzení člověkem. Proto by mělo být zakázáno provádět posouzení rizik ve vztahu k fyzickým osobám za účelem posouzení pravděpodobnosti spáchání trestného činu těmito osobami nebo předvídání skutečného nebo potenciálního trestného činu pouze na základě profilování těchto osob nebo posouzení jejich osobnostních rysů a charakteristik. V každém případě se tento zákaz nevztahuje na analýzy rizik, které nejsou založeny na profilování jednotlivců nebo na osobnostních rysech a charakteristikách jednotlivců, jako jsou systémy AI využívající analýzu rizik k posouzení pravděpodobnosti finančních podvodů ze strany podniků na základě podezřelých transakcí nebo nástroje analýzy rizik, které umožňují předvídat pravděpodobnost lokalizace omamných látek nebo nezákonného zboží celními orgány, například na základě známých tras využívaných k obchodování s těmito látkami či zbožím, a tyto analýzy jím nejsou dotčeny.