Recital 42

In line with the presumption of innocence, natural persons in the Union should always be judged on their actual behaviour. Natural persons should never be judged on AI-predicted behaviour based solely on their profiling, personality traits or characteristics, such as nationality, place of birth, place of residence, number of children, level of debt or type of car, without a reasonable suspicion of that person being involved in a criminal activity based on objective verifiable facts and without human assessment thereof. Therefore, risk assessments carried out with regard to natural persons in order to assess the likelihood of their offending or to predict the occurrence of an actual or potential criminal offence based solely on profiling them or on assessing their personality traits and characteristics should be prohibited. In any case, that prohibition does not refer to or touch upon risk analytics that are not based on the profiling of individuals or on the personality traits and characteristics of individuals, such as AI systems using risk analytics to assess the likelihood of financial fraud by undertakings on the basis of suspicious transactions or risk analytic tools to predict the likelihood of the localisation of narcotics or illicit goods by customs authorities, for example on the basis of known trafficking routes.

V súlade s prezumpciou neviny by sa fyzické osoby v Únii mali vždy posudzovať podľa ich skutočného správania. Fyzické osoby by sa nikdy nemali posudzovať podľa správania predpokladaného AI výlučne na základe ich profilovania, osobnostných čŕt alebo charakteristík, ako je štátna príslušnosť, miesto narodenia, miesto bydliska, počet detí, výška dlhu alebo typ ich vozidla, bez odôvodneného podozrenia, že daná osoba je zapojená do trestnej činnosti na základe objektívnych overiteľných skutočností a bez ich ľudského posúdenia. Preto by sa malo zakázať vykonávanie posudzovania rizika fyzických osôb s cieľom posúdiť pravdepodobnosť spáchania trestného činu takýmito osobami alebo s cieľom predpovedať skutočný alebo potenciálny trestný čin výlučne na základe profilovania fyzických osôb alebo posúdenia ich osobnostných čŕt a charakteristík. Takýto zákaz v žiadnom prípade ale neodkazuje na analýzu rizika ani sa netýka analýzy rizika, ktorá nie je založená na profilovaní jednotlivcov ani na osobnostných črtách a charakteristikách jednotlivcov, ako sú systémy AI využívajúce analýzu rizika na posúdenie pravdepodobnosti finančného podvodu zo strany podnikov na základe podozrivých transakcií, alebo nástroje analýzy rizika na predpovedanie pravdepodobnosti lokalizácie omamných látok alebo nezákonného tovaru colnými orgánmi, napríklad na základe známych pašeráckych trás.