Recital 42

In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.

Zgodnie z domniemaniem niewinności osoby fizyczne w Unii powinny być zawsze oceniane na podstawie ich faktycznego zachowania. Osoby fizyczne nigdy nie powinny być oceniane na podstawie zachowań prognozowanych przez AI wyłącznie na podstawie poddania ich profilowaniu, na podstawie ich cech osobowości lub cech charakterystycznych, takich jak narodowość, miejsce urodzenia, miejsce zamieszkania, liczba dzieci, poziom zadłużenia lub rodzaj samochodu, bez uzasadnionego podejrzenia, że osoba ta uczestniczy w działalności przestępczej w oparciu o obiektywne możliwe do zweryfikowania fakty i bez ich oceny przez człowieka. W związku z tym należy zakazać ocen ryzyka przeprowadzanych w odniesieniu do osób fizycznych w celu oceny prawdopodobieństwa popełnienia przez te osoby przestępstwa lub przewidywania wystąpienia faktycznego lub potencjalnego przestępstwa wyłącznie na podstawie przeprowadzonego wobec nich profilowania lub oceny ich cech osobistych i charakterystycznych. W każdym razie zakaz ten nie odnosi się do ani nie dotyczy analizy ryzyka, która nie opiera się na profilowaniu osób fizycznych ani na cechach osobistych i charakterystycznych osób fizycznych, w takich przypadkach jak wykorzystywanie przez systemy AI analizy ryzyka w celu oceny prawdopodobieństwa nadużyć finansowych przez przedsiębiorstwa na podstawie podejrzanych transakcji lub narzędzi analizy ryzyka w celu przewidywania przez organy celne prawdopodobnej lokalizacji środków odurzających lub nielegalnych towarów, na przykład na podstawie znanych szlaków przemytu.