Recital 42

In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.

V souladu s presumpcí neviny by fyzické osoby v Unii měly být vždy posuzovány podle svého skutečného chování. Fyzické osoby by nikdy neměly být posuzovány na základě chování předvídaného AI pouze na základě jejich profilování, osobnostních rysů nebo charakteristik, jako je státní příslušnost, místo narození, místo bydliště, počet dětí, výše dluhu nebo typ vozidla, aniž by na základě objektivních ověřitelných skutečností existovalo důvodné podezření, že se dotčená osoba podílí na trestné činnosti, a aniž by bylo provedeno posouzení člověkem. Proto by mělo být zakázáno provádět posouzení rizik ve vztahu k fyzickým osobám za účelem posouzení pravděpodobnosti spáchání trestného činu těmito osobami nebo předvídání skutečného nebo potenciálního trestného činu pouze na základě profilování těchto osob nebo posouzení jejich osobnostních rysů a charakteristik. V každém případě se tento zákaz nevztahuje na analýzy rizik, které nejsou založeny na profilování jednotlivců nebo na osobnostních rysech a charakteristikách jednotlivců, jako jsou systémy AI využívající analýzu rizik k posouzení pravděpodobnosti finančních podvodů ze strany podniků na základě podezřelých transakcí nebo nástroje analýzy rizik, které umožňují předvídat pravděpodobnost lokalizace omamných látek nebo nezákonného zboží celními orgány, například na základě známých tras využívaných k obchodování s těmito látkami či zbožím, a tyto analýzy jím nejsou dotčeny.