Prohibited AI practices

1.   The following AI practices shall be prohibited:

(a)

the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;

(b)

the placing on the market, the putting into service or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm;

(c)

the placing on the market, the putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following: (i) detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected; (ii) detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;

(d)

the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity;

(e)	the placing on the market, the putting into service for this specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage;

(f)

the placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;

(g)

the placing on the market, the putting into service for this specific purpose, or the use of biometric categorisation systems that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorizing of biometric data in the area of law enforcement;

(h)

the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives: (i) the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons; (ii) the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack; (iii) the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.

Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.

2.   The use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), shall be deployed for the purposes set out in that point only to confirm the identity of the specifically targeted individual, and it shall take into account the following elements:

(a)	the nature of the situation giving rise to the possible use, in particular the seriousness, probability and scale of the harm that would be caused if the system were not used;

(b)	the consequences of the use of the system for the rights and freedoms of all persons concerned, in particular the seriousness, probability and scale of those consequences.

In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), of this Article shall comply with necessary and proportionate safeguards and conditions in relation to the use in accordance with the national law authorising the use thereof, in particular as regards the temporal, geographic and personal limitations. The use of the ‘real-time’ remote biometric identification system in publicly accessible spaces shall be authorised only if the law enforcement authority has completed a fundamental rights impact assessment as provided for in Article 27 and has registered the system in the EU database according to Article 49. However, in duly justified cases of urgency, the use of such systems may be commenced without the registration in the EU database, provided that such registration is completed without undue delay.

3.   For the purposes of paragraph 1, first subparagraph, point (h) and paragraph 2, each use for the purposes of law enforcement of a ‘real-time’ remote biometric identification system in publicly accessible spaces shall be subject to a prior authorisation granted by a judicial authority or an independent administrative authority whose decision is binding of the Member State in which the use is to take place, issued upon a reasoned request and in accordance with the detailed rules of national law referred to in paragraph 5. However, in a duly justified situation of urgency, the use of such system may be commenced without an authorisation provided that such authorisation is requested without undue delay, at the latest within 24 hours. If such authorisation is rejected, the use shall be stopped with immediate effect and all the data, as well as the results and outputs of that use shall be immediately discarded and deleted.

The competent judicial authority or an independent administrative authority whose decision is binding shall grant the authorisation only where it is satisfied, on the basis of objective evidence or clear indications presented to it, that the use of the ‘real-time’ remote biometric identification system concerned is necessary for, and proportionate to, achieving one of the objectives specified in paragraph 1, first subparagraph, point (h), as identified in the request and, in particular, remains limited to what is strictly necessary concerning the period of time as well as the geographic and personal scope. In deciding on the request, that authority shall take into account the elements referred to in paragraph 2. No decision that produces an adverse legal effect on a person may be taken based solely on the output of the ‘real-time’ remote biometric identification system.

4.   Without prejudice to paragraph 3, each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for law enforcement purposes shall be notified to the relevant market surveillance authority and the national data protection authority in accordance with the national rules referred to in paragraph 5. The notification shall, as a minimum, contain the information specified under paragraph 6 and shall not include sensitive operational data.

5.   A Member State may decide to provide for the possibility to fully or partially authorise the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement within the limits and under the conditions listed in paragraph 1, first subparagraph, point (h), and paragraphs 2 and 3. Member States concerned shall lay down in their national law the necessary detailed rules for the request, issuance and exercise of, as well as supervision and reporting relating to, the authorisations referred to in paragraph 3. Those rules shall also specify in respect of which of the objectives listed in paragraph 1, first subparagraph, point (h), including which of the criminal offences referred to in point (h)(iii) thereof, the competent authorities may be authorised to use those systems for the purposes of law enforcement. Member States shall notify those rules to the Commission at the latest 30 days following the adoption thereof. Member States may introduce, in accordance with Union law, more restrictive laws on the use of remote biometric identification systems.

6.   National market surveillance authorities and the national data protection authorities of Member States that have been notified of the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement purposes pursuant to paragraph 4 shall submit to the Commission annual reports on such use. For that purpose, the Commission shall provide Member States and national market surveillance and data protection authorities with a template, including information on the number of the decisions taken by competent judicial authorities or an independent administrative authority whose decision is binding upon requests for authorisations in accordance with paragraph 3 and their result.

7.   The Commission shall publish annual reports on the use of real-time remote biometric identification systems in publicly accessible spaces for law enforcement purposes, based on aggregated data in Member States on the basis of the annual reports referred to in paragraph 6. Those annual reports shall not include sensitive operational data of the related law enforcement activities.

8.   This Article shall not affect the prohibitions that apply where an AI practice infringes other Union law.

1.   Zakazujú sa tieto praktiky využívajúce AI:

a)

uvádzanie na trh, uvádzanie do prevádzky alebo používanie systému AI, ktorý využíva podprahové techniky mimo vedomia osoby alebo účelovo manipulatívne alebo klamlivé techniky s cieľom alebo účinkom podstatne narušiť správanie osoby alebo skupiny osôb tým, že sa citeľne oslabí ich schopnosť prijať informované rozhodnutie, čo zapríčiní, že prijmú rozhodnutie, ktoré by inak neprijali, a to spôsobom, ktorý tejto osobe, inej osobe alebo skupine osôb spôsobuje alebo pri ktorom je odôvodnené predpokladať, že pravdepodobne spôsobí značnú ujmu;

b)

uvádzanie na trh, uvádzanie do prevádzky alebo používanie systému AI, ktorý využíva ktorúkoľvek zo zraniteľností fyzickej osoby alebo osobitnej skupiny osôb z dôvodu ich veku, zdravotného postihnutia alebo osobitnej sociálnej alebo ekonomickej situácie s cieľom alebo účinkom podstatne narušiť správanie tejto osoby alebo osoby patriacej do tejto skupiny spôsobom, ktorý tejto alebo inej osobe spôsobuje alebo pri ktorom je odôvodnené predpokladať, že pravdepodobne spôsobí značnú ujmu;

c)

uvádzanie na trh, uvádzanie do prevádzky alebo používanie systémov AI na hodnotenie alebo klasifikáciu fyzických osôb alebo skupín osôb počas určitého obdobia na základe ich spoločenského správania alebo známych, odvodených či predpokladaných osobných alebo osobnostných charakteristík, pričom takto získané sociálne skóre vedie k jednému alebo obidvom z týchto výsledkov: i) ku škodlivému alebo nepriaznivému zaobchádzaniu s určitými fyzickými osobami alebo skupinami osôb v sociálnych kontextoch, ktoré nesúvisia s kontextami, v ktorých boli údaje pôvodne generované alebo zhromaždené; ii) ku škodlivému alebo nepriaznivému zaobchádzaniu s určitými fyzickými osobami alebo skupinami osôb, ktoré je neodôvodnené alebo neprimerané ich spoločenskému správaniu alebo jeho závažnosti;

d)

uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systému AI na posudzovanie rizík fyzických osôb s cieľom posúdiť alebo predvídať riziko toho, že fyzická osoba spácha trestný čin, a to výlučne na základe profilovania fyzickej osoby alebo posúdenia jej osobnostných vlastností a charakteristík; tento zákaz sa nevzťahuje na systémy AI používané na podporu ľudského posúdenia zapojenia osoby do trestnej činnosti, ktoré je už založené na objektívnych a overiteľných skutočnostiach priamo spojených s trestnou činnosťou;

e)	uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov AI, ktoré vytvárajú alebo rozširujú databázy na rozpoznávanie tváre prostredníctvom necielenej extrakcie podôb tváre z internetu alebo zo záznamov CCTV;

f)

uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov AI na odvodzovanie emócií fyzickej osoby v oblasti pracoviska a vzdelávacích inštitúcií s výnimkou prípadov, keď je používanie systému AI určené na uvedenie do prevádzky alebo na trh zo zdravotných alebo bezpečnostných dôvodov;

g)

uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov biometrickej kategorizácie, ktoré jednotlivo kategorizujú fyzické osoby na základe ich biometrických údajov s cieľom odvodiť alebo vyvodiť ich rasu, politické názory, členstvo v odboroch, náboženské alebo filozofické presvedčenie, sexuálny život alebo sexuálnu orientáciu; tento zákaz sa nevzťahuje na žiadne označovanie ani filtrovanie zákonne získaných súborov biometrických údajov, ako sú obrázky, na základe biometrických údajov alebo kategorizácie biometrických údajov v oblasti presadzovania práva;

h)

používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva, pokiaľ takéto použitie nie je nevyhnutne potrebné na jeden z týchto cieľov: i) cielené pátranie po konkrétnych obetiach únosov, obchodovania s ľuďmi alebo sexuálneho vykorisťovania ľudí, ako aj pátranie po nezvestných osobách; ii) predchádzanie konkrétnemu, závažnému a bezprostrednému ohrozeniu života alebo fyzickej bezpečnosti fyzických osôb alebo skutočnej a existujúcej alebo skutočnej a predvídateľnej hrozbe teroristického útoku; iii) lokalizácia alebo identifikácia osoby podozrivej zo spáchania trestného činu na účel vedenia vyšetrovania alebo stíhania trestného činu alebo výkonu trestnej sankcie za trestné činy uvedené v prílohe II, za ktoré možno v dotknutom členskom štáte uložiť trest odňatia slobody alebo ochranné opatrenie obmedzujúce slobodu s hornou hranicou trestnej sadzby najmenej štyri roky.

Prvým pododsekom písm. h) nie je dotknutý článok 9 nariadenia (EÚ) 2016/679 na účely spracúvania biometrických údajov na iné účely ako je presadzovania práva.

2.   Systémy diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch sa na účely presadzovania práva na dosiahnutie ktoréhokoľvek z cieľov uvedených v odseku 1 prvom pododseku písm. h) nasadzujú na účely stanovené v uvedenom písmene, len aby sa potvrdila totožnosť špecificky zacieleného jednotlivca, pričom sa zohľadnia tieto skutočnosti:

a)	povaha situácie, ktorá viedla k možnému použitiu, najmä závažnosť, pravdepodobnosť a rozsah ujmy, ktorá by bola spôsobená v prípade nepoužitia systému;

b)	dôsledky použitia systému pre práva a slobody všetkých dotknutých osôb, najmä závažnosť, pravdepodobnosť a rozsah týchto dôsledkov.

Používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva na dosiahnutie ktoréhokoľvek z cieľov uvedených v odseku 1 prvom pododseku písm. h) tohto článku musí okrem toho byť v súlade s nevyhnutnými a primeranými zárukami a podmienkami týkajúcimi sa tohto používania, a to podľa vnútroštátnych právnych predpisov oprávňujúcich ich použitie, najmä pokiaľ ide o časové, geografické a osobné obmedzenia. Používanie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch sa povolí len vtedy, ak orgán presadzovania práva dokončil posúdenie vplyvu na základné práva, ako sa stanovuje v článku 27, a zaregistroval systém v databáze Únie podľa článku 49. V riadne odôvodnených naliehavých prípadoch sa však používanie takýchto systémov môže začať bez registrácie v databáze Únie za predpokladu, že sa takáto registrácia dokončí bez zbytočného odkladu.

3.   Na účely odseku 1 prvého pododseku písm. h) a odseku 2 podlieha každé použitie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva predchádzajúcemu povoleniu, ktoré udeľuje justičný orgán alebo nezávislý správny orgán, ktorého rozhodnutie je záväzné, členského štátu, v ktorom sa má použitie uskutočniť, vydanému na základe odôvodnenej žiadosti a v súlade s podrobnými pravidlami vnútroštátneho práva uvedenými v odseku 5. V riadne odôvodnenej naliehavej situácii sa však použitie takéhoto systému môže začať bez povolenia za predpokladu, že sa o takéto povolenie požiada bez zbytočného odkladu, najneskôr však do 24 hodín. Ak sa takéto povolenie zamietne, používanie sa s okamžitou účinnosťou zastaví a všetky údaje, ako aj výsledky a výstupy tohto používania sa okamžite vyradia a vymažú.

Príslušný justičný orgán alebo nezávislý správny orgán, ktorého rozhodnutie je záväzné, udelí povolenie len vtedy, ak sa na základe objektívnych dôkazov alebo jasných indícií, ktoré mu boli predložené, presvedčí, že použitie predmetného systému diaľkovej biometrickej identifikácie v reálnom čase je potrebné a primerané na dosiahnutie niektorého z cieľov uvedených v odseku 1 prvom pododseku písm. h), ako sa uvádza v žiadosti, a najmä je naďalej obmedzené na to, čo je striktne nevyhnutné, pokiaľ ide o časový a geografický rozsah a rozsah týkajúci sa osobných aspektov. Pri rozhodovaní o žiadosti tento orgán zohľadní skutočnosti uvedené v odseku 2. Žiadne rozhodnutie, ktoré má pre osobu nepriaznivé právne účinky, sa nesmie prijať výlučne na základe výstupu systému diaľkovej biometrickej identifikácie v reálnom čase.

4.   Bez toho, aby bol dotknutý odsek 3, každé použitie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva sa oznámi príslušnému orgánu dohľadu nad trhom a vnútroštátnemu orgánu pre ochranu údajov v súlade s vnútroštátnymi pravidlami uvedenými v odseku 5. Oznámenie obsahuje aspoň informácie uvedené v odseku 6 a neobsahuje citlivé operačné údaje.

5.   Členský štát sa môže rozhodnúť, že na účely presadzovania práva v rámci obmedzení a za podmienok uvedených v odseku 1 prvom pododseku písm. h) a odsekoch 2 a 3 stanoví možnosť úplne alebo čiastočne povoliť používanie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch. Dotknuté členské štáty vo svojom vnútroštátnom práve stanovia potrebné podrobné pravidlá na podávanie žiadostí o povolenia uvedené v odseku 3, ich vydávanie a výkon, ako aj pre dohľad nad nimi a podávanie správ o nich. V týchto pravidlách sa takisto uvedie, v súvislosti s ktorým z cieľov uvedených v odseku 1 prvom pododseku písm. h) a s ktorým z trestných činov uvedených v bode iii) uvedeného písmena h) môžu byť príslušné orgány oprávnené používať tieto systémy na účely presadzovania práva. Členské štáty oznámia tieto pravidlá Komisii najneskôr 30 dní po ich prijatí. Členské štáty môžu v súlade s právom Únie zaviesť prísnejšie právne predpisy o používaní systémov diaľkovej biometrickej identifikácie.

6.   Vnútroštátne orgány dohľadu nad trhom a vnútroštátne orgány pre ochranu údajov členských štátov, ktorým bolo oznámené používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva podľa odseku 4, predkladajú Komisii výročné správy o takomto používaní. Na tento účel Komisia poskytne členským štátom a vnútroštátnym orgánom dohľadu nad trhom a orgánom pre ochranu údajov vzor vrátane informácií o počte rozhodnutí prijatých príslušnými justičnými orgánmi alebo nezávislým správnym orgánom, ktorého rozhodnutie je záväzné v nadväznosti na žiadosti o povolenie v súlade s odsekom 3, a o ich výsledku.

7.   Komisia uverejňuje výročné správy o používaní systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva, pričom vychádza zo súhrnných údajov z členských štátov na základe výročných správ uvedených v odseku 6. Tieto výročné správy nesmú obsahovať citlivé operačné údaje o súvisiacich činnostiach v oblasti presadzovania práva.

8.   Týmto článkom nie sú dotknuté zákazy, ktoré sa uplatňujú, ak určitá praktika využívajúca AI porušuje iné právne predpisy Únie.