Prohibited AI practices

1.   The following AI practices shall be prohibited:

(a)

the placing on the market, the putting into service or the use of an AI system that deploys subliminal techniques beyond a person’s consciousness or purposefully manipulative or deceptive techniques, with the objective, or the effect of materially distorting the behaviour of a person or a group of persons by appreciably impairing their ability to make an informed decision, thereby causing them to take a decision that they would not have otherwise taken in a manner that causes or is reasonably likely to cause that person, another person or group of persons significant harm;

(b)

the placing on the market, the putting into service or the use of an AI system that exploits any of the vulnerabilities of a natural person or a specific group of persons due to their age, disability or a specific social or economic situation, with the objective, or the effect, of materially distorting the behaviour of that person or a person belonging to that group in a manner that causes or is reasonably likely to cause that person or another person significant harm;

(c)

the placing on the market, the putting into service or the use of AI systems for the evaluation or classification of natural persons or groups of persons over a certain period of time based on their social behaviour or known, inferred or predicted personal or personality characteristics, with the social score leading to either or both of the following: (i) detrimental or unfavourable treatment of certain natural persons or groups of persons in social contexts that are unrelated to the contexts in which the data was originally generated or collected; (ii) detrimental or unfavourable treatment of certain natural persons or groups of persons that is unjustified or disproportionate to their social behaviour or its gravity;

(d)

the placing on the market, the putting into service for this specific purpose, or the use of an AI system for making risk assessments of natural persons in order to assess or predict the risk of a natural person committing a criminal offence, based solely on the profiling of a natural person or on assessing their personality traits and characteristics; this prohibition shall not apply to AI systems used to support the human assessment of the involvement of a person in a criminal activity, which is already based on objective and verifiable facts directly linked to a criminal activity;

(e)	the placing on the market, the putting into service for this specific purpose, or the use of AI systems that create or expand facial recognition databases through the untargeted scraping of facial images from the internet or CCTV footage;

(f)

the placing on the market, the putting into service for this specific purpose, or the use of AI systems to infer emotions of a natural person in the areas of workplace and education institutions, except where the use of the AI system is intended to be put in place or into the market for medical or safety reasons;

(g)

the placing on the market, the putting into service for this specific purpose, or the use of biometric categorisation systems that categorise individually natural persons based on their biometric data to deduce or infer their race, political opinions, trade union membership, religious or philosophical beliefs, sex life or sexual orientation; this prohibition does not cover any labelling or filtering of lawfully acquired biometric datasets, such as images, based on biometric data or categorizing of biometric data in the area of law enforcement;

(h)

the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement, unless and in so far as such use is strictly necessary for one of the following objectives: (i) the targeted search for specific victims of abduction, trafficking in human beings or sexual exploitation of human beings, as well as the search for missing persons; (ii) the prevention of a specific, substantial and imminent threat to the life or physical safety of natural persons or a genuine and present or genuine and foreseeable threat of a terrorist attack; (iii) the localisation or identification of a person suspected of having committed a criminal offence, for the purpose of conducting a criminal investigation or prosecution or executing a criminal penalty for offences referred to in Annex II and punishable in the Member State concerned by a custodial sentence or a detention order for a maximum period of at least four years.

Point (h) of the first subparagraph is without prejudice to Article 9 of Regulation (EU) 2016/679 for the processing of biometric data for purposes other than law enforcement.

2.   The use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), shall be deployed for the purposes set out in that point only to confirm the identity of the specifically targeted individual, and it shall take into account the following elements:

(a)	the nature of the situation giving rise to the possible use, in particular the seriousness, probability and scale of the harm that would be caused if the system were not used;

(b)	the consequences of the use of the system for the rights and freedoms of all persons concerned, in particular the seriousness, probability and scale of those consequences.

In addition, the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement for any of the objectives referred to in paragraph 1, first subparagraph, point (h), of this Article shall comply with necessary and proportionate safeguards and conditions in relation to the use in accordance with the national law authorising the use thereof, in particular as regards the temporal, geographic and personal limitations. The use of the ‘real-time’ remote biometric identification system in publicly accessible spaces shall be authorised only if the law enforcement authority has completed a fundamental rights impact assessment as provided for in Article 27 and has registered the system in the EU database according to Article 49. However, in duly justified cases of urgency, the use of such systems may be commenced without the registration in the EU database, provided that such registration is completed without undue delay.

3.   For the purposes of paragraph 1, first subparagraph, point (h) and paragraph 2, each use for the purposes of law enforcement of a ‘real-time’ remote biometric identification system in publicly accessible spaces shall be subject to a prior authorisation granted by a judicial authority or an independent administrative authority whose decision is binding of the Member State in which the use is to take place, issued upon a reasoned request and in accordance with the detailed rules of national law referred to in paragraph 5. However, in a duly justified situation of urgency, the use of such system may be commenced without an authorisation provided that such authorisation is requested without undue delay, at the latest within 24 hours. If such authorisation is rejected, the use shall be stopped with immediate effect and all the data, as well as the results and outputs of that use shall be immediately discarded and deleted.

The competent judicial authority or an independent administrative authority whose decision is binding shall grant the authorisation only where it is satisfied, on the basis of objective evidence or clear indications presented to it, that the use of the ‘real-time’ remote biometric identification system concerned is necessary for, and proportionate to, achieving one of the objectives specified in paragraph 1, first subparagraph, point (h), as identified in the request and, in particular, remains limited to what is strictly necessary concerning the period of time as well as the geographic and personal scope. In deciding on the request, that authority shall take into account the elements referred to in paragraph 2. No decision that produces an adverse legal effect on a person may be taken based solely on the output of the ‘real-time’ remote biometric identification system.

4.   Without prejudice to paragraph 3, each use of a ‘real-time’ remote biometric identification system in publicly accessible spaces for law enforcement purposes shall be notified to the relevant market surveillance authority and the national data protection authority in accordance with the national rules referred to in paragraph 5. The notification shall, as a minimum, contain the information specified under paragraph 6 and shall not include sensitive operational data.

5.   A Member State may decide to provide for the possibility to fully or partially authorise the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for the purposes of law enforcement within the limits and under the conditions listed in paragraph 1, first subparagraph, point (h), and paragraphs 2 and 3. Member States concerned shall lay down in their national law the necessary detailed rules for the request, issuance and exercise of, as well as supervision and reporting relating to, the authorisations referred to in paragraph 3. Those rules shall also specify in respect of which of the objectives listed in paragraph 1, first subparagraph, point (h), including which of the criminal offences referred to in point (h)(iii) thereof, the competent authorities may be authorised to use those systems for the purposes of law enforcement. Member States shall notify those rules to the Commission at the latest 30 days following the adoption thereof. Member States may introduce, in accordance with Union law, more restrictive laws on the use of remote biometric identification systems.

6.   National market surveillance authorities and the national data protection authorities of Member States that have been notified of the use of ‘real-time’ remote biometric identification systems in publicly accessible spaces for law enforcement purposes pursuant to paragraph 4 shall submit to the Commission annual reports on such use. For that purpose, the Commission shall provide Member States and national market surveillance and data protection authorities with a template, including information on the number of the decisions taken by competent judicial authorities or an independent administrative authority whose decision is binding upon requests for authorisations in accordance with paragraph 3 and their result.

7.   The Commission shall publish annual reports on the use of real-time remote biometric identification systems in publicly accessible spaces for law enforcement purposes, based on aggregated data in Member States on the basis of the annual reports referred to in paragraph 6. Those annual reports shall not include sensitive operational data of the related law enforcement activities.

8.   This Article shall not affect the prohibitions that apply where an AI practice infringes other Union law.

1.   Zakazuje się następujących praktyk w zakresie AI:

a)

wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemu AI, który stosuje techniki podprogowe będące poza świadomością danej osoby lub celowe techniki manipulacyjne lub wprowadzające w błąd, czego celem lub skutkiem jest dokonanie znaczącej zmiany zachowania danej osoby lub grupy osób poprzez znaczące ograniczenie ich zdolności do podejmowania świadomych decyzji, powodując tym samym podjęcie przez nie decyzji, której inaczej by nie podjęły, w sposób, który wyrządza lub może wyrządzić u niej, u innej osoby lub u grupy osób poważną szkodę;

b)

wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemu AI, który wykorzystuje słabości osoby fizycznej lub określonej grupy osób ze względu na ich wiek, niepełnosprawność lub szczególną sytuację społeczną lub ekonomiczną, którego celem lub skutkiem jest dokonanie znaczącej zmiany zachowania danej osoby lub osoby należącej do tej grupy w sposób, który wyrządza lub może z uzasadnionym prawdopodobieństwem wyrządzić u tej osoby lub u innej osoby poważną szkodę;

c)

wprowadzania do obrotu, oddawania do użytku lub wykorzystywania systemów AI na potrzeby oceny lub klasyfikacji osób fizycznych lub grup osób prowadzonej przez określony czas na podstawie ich zachowania społecznego lub znanych, wywnioskowanych lub przewidywanych cech osobistych lub cech osobowości, kiedy to scoring społeczny prowadzi do jednego lub obu z następujących skutków: (i) krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub grup osób w kontekstach społecznych, które nie są związane z kontekstami, w których pierwotnie wygenerowano lub zebrano dane; (ii) krzywdzącego lub niekorzystnego traktowania niektórych osób fizycznych lub grup osób, które jest nieuzasadnione lub nieproporcjonalne do ich zachowania społecznego lub jego wagi;

d)

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemu AI do przeprowadzania ocen ryzyka w odniesieniu do osób fizycznych, by ocenić lub przewidzieć ryzyko popełnienia przestępstwa przez osobę fizyczną, wyłącznie na podstawie profilowania osoby fizycznej lub oceny jej cech osobowości i cech charakterystycznych; zakaz ten nie ma zastosowania do systemów AI wykorzystywanych do wspierania dokonywanej przez człowieka oceny udziału danej osoby w działalności przestępczej, która to ocena opiera się już na obiektywnych i weryfikowalnych faktach bezpośrednio związanych z działalnością przestępczą;

e)

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI, które tworzą lub rozbudowują bazy danych służące rozpoznawaniu twarzy poprzez nieukierunkowane pozyskiwanie (ang. untargeted scraping) wizerunków twarzy z internetu lub nagrań z telewizji przemysłowej;

f)

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów AI do wyciągania wniosków na temat emocji osoby fizycznej w miejscu pracy lub instytucjach edukacyjnych, z wyjątkiem przypadków, w których system AI ma zostać wdrożony lub wprowadzony do obrotu ze względów medycznych lub bezpieczeństwa;

g)

wprowadzania do obrotu, oddawania do użytku w tym konkretnym celu lub wykorzystywania systemów kategoryzacji biometrycznej, które indywidualnie kategoryzują osoby fizyczne w oparciu o ich dane biometryczne, by wydedukować lub wywnioskować informacje na temat ich rasy, poglądów politycznych, przynależności do związków zawodowych, przekonań religijnych lub światopoglądowych, seksualności lub orientacji seksualnej; zakaz ten nie obejmuje przypadków etykietowania ani filtrowania pozyskanych zgodnie z prawem zbiorów danych biometrycznych, takich jak obrazy, w oparciu o dane biometryczne, ani kategoryzacji danych biometrycznych w obszarze ścigania przestępstw;

h)

wykorzystywania systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw, chyba że – i w zakresie, w jakim – takie wykorzystanie jest bezwzględnie konieczne do jednego z następujących celów: (i) ukierunkowanego poszukiwania konkretnych ofiar uprowadzeń, handlu ludźmi lub wykorzystywania seksualnego ludzi, a także poszukiwania osób zaginionych; (ii) zapobiegnięcia konkretnemu, istotnemu i bezpośredniemu zagrożeniu życia lub bezpieczeństwa fizycznego osób fizycznych lub rzeczywistemu i aktualnemu lub rzeczywistemu i dającemu się przewidzieć zagrożeniu atakiem terrorystycznym; (iii) lokalizowania lub identyfikowania osoby podejrzanej o popełnienie przestępstwa w celu prowadzenia postępowania przygotowawczego lub ścigania lub wykonania kar w odniesieniu do przestępstw, o których mowa w załączniku II, podlegających w danym państwie członkowskim karze pozbawienia wolności lub środkowi polegającemu na pozbawieniu wolności przez okres, którego górna granica wynosi co najmniej cztery lata.

Akapit pierwszy lit. h) pozostaje bez uszczerbku dla art. 9 rozporządzenia (UE) 2016/679 w odniesieniu do przetwarzania danych biometrycznych do celów innych niż ściganie przestępstw.

2.   Systemy zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw w odniesieniu do któregokolwiek z celów, o których mowa w ust. 1 akapit pierwszy lit. h), mogą być wykorzystywane do celów określonych w tej literze, jedynie w celu potwierdzenia tożsamości konkretnej poszukiwanej osoby, z uwzględnieniem przy tym następujących elementów:

a)	charakter sytuacji powodującej konieczność ewentualnego wykorzystania takiego systemu, w szczególności powagę, prawdopodobieństwo i skalę szkody, która zostałaby wyrządzona w przypadku niewykorzystania tego systemu;

b)	konsekwencje wykorzystania takiego systemu dla praw i wolności wszystkich zainteresowanych osób, w szczególności powagę, prawdopodobieństwo i skalę tych konsekwencji.

Ponadto wykorzystywanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw w odniesieniu do któregokolwiek z celów, o których mowa w ust. 1 akapit pierwszy lit. h) niniejszego artykułu, musi przebiegać z zachowaniem niezbędnych i proporcjonalnych zabezpieczeń i warunków w odniesieniu do takiego wykorzystywania zgodnie z zezwalającym na takie wykorzystanie prawem krajowym, w szczególności w odniesieniu do ograniczeń czasowych, geograficznych i osobowych. Wykorzystanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej jest dozwolone tylko wtedy, gdy organ ścigania przeprowadził ocenę skutków dla praw podstawowych zgodnie z art. 27 oraz zarejestrował system w bazie danych UE zgodnie z przepisami art. 49. W należycie uzasadnionych nadzwyczajnych przypadkach można jednak rozpocząć korzystanie z takich systemów bez rejestracji w bazie danych UE, pod warunkiem że taka rejestracja zostanie dokonana bez zbędnej zwłoki.

3.   Na potrzeby ust. 1 akapit pierwszy lit. h) i ust. 2, każde wykorzystanie systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw wymaga uzyskania uprzedniego zezwolenia udzielonego przez organ wymiaru sprawiedliwości lub wydający wiążące decyzje niezależny organ administracyjny państwa członkowskiego, w którym ma nastąpić wykorzystanie; zezwolenie to wydawane jest na uzasadniony wniosek i zgodnie ze szczegółowymi przepisami prawa krajowego, o których mowa w ust. 5. W należycie uzasadnionych pilnych przypadkach korzystanie z takiego systemu można jednak rozpocząć bez zezwolenia, pod warunkiem że wniosek o takie zezwolenie zostanie złożony bez zbędnej zwłoki, najpóźniej w ciągu 24 godzin. W przypadku odmowy udzielenia takiego zezwolenia wykorzystywanie systemu wstrzymuje się ze skutkiem natychmiastowym, a wszystkie dane, a także rezultaty i wyniki uzyskane podczas tego wykorzystania musza zostać natychmiast odrzucone i usunięte.

Właściwy organ wymiaru sprawiedliwości lub wydający wiążące decyzje niezależny organ administracyjny udziela zezwolenia tylko wtedy, gdy jest przekonany, na podstawie obiektywnych dowodów lub jasnych przesłanek, które mu przedstawiono, że wykorzystanie danego systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym jest konieczne i proporcjonalne do osiągnięcia jednego z celów określonych w ust. 1 akapit pierwszy lit. h), wskazanego we wniosku, a w szczególności ogranicza się do tego, co jest bezwzględnie konieczne w odniesieniu do przedziału czasowego, a także zakresu geograficznego i podmiotowego. Podejmując decyzję w sprawie wniosku organ ten bierze pod uwagę elementy, o których mowa w ust. 2. Nie można wydać decyzji wywołującej niepożądane skutki prawne dla danej osoby wyłącznie na podstawie wyników uzyskanych z systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym.

4.   Bez uszczerbku dla ust. 3, o każdym wykorzystaniu systemu zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw powiadamia się właściwy organ nadzoru rynku i krajowy organ ochrony danych zgodnie z przepisami prawa krajowego, o których mowa w ust. 5. Powiadomienie zawiera co najmniej informacje określone w ust. 6 i nie może zawierać wrażliwych danych operacyjnych.

5.   Państwo członkowskie może podjąć decyzję o wprowadzeniu możliwości pełnego lub częściowego zezwolenia na wykorzystywanie systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw w granicach i na warunkach wymienionych w ust. 1 akapit pierwszy lit. h) i w ust. 2 i 3. Zainteresowane państwa członkowskie ustanawiają w swoim prawie krajowym niezbędne szczegółowe przepisy dotyczące wniosku o udzielenie zezwoleń, o których mowa w ust. 3, wydawanie i wykonywanie tych zezwoleń oraz ich nadzorowanie składanie sprawozdań w ich sprawie. W przepisach tych określa się również, w odniesieniu do których celów wymienionych w ust. 1 akapit pierwszy lit. h) – w tym w odniesieniu do których przestępstw wymienionych w ust. 1 akapit pierwszy lit. h) ppkt (iii) – właściwe organy mogą uzyskać zezwolenie na wykorzystanie tych systemów do celów celu ścigania przestępstw. Państwa członkowskie powiadamiają Komisję o tych przepisach najpóźniej 30 dni po ich przyjęciu. Państwa członkowskie mogą wprowadzić, zgodnie z prawem Unii, bardziej restrykcyjne przepisy dotyczące wykorzystania systemów zdalnej identyfikacji biometrycznej.

6.   Krajowe organy nadzoru rynku i krajowe organy ochrony danych państw członkowskich, które zostały powiadomione o wykorzystaniu systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw zgodnie z ust. 4, przedkładają Komisji roczne sprawozdania z takiego wykorzystania. W tym celu Komisja przekazuje państwom członkowskim i krajowym organom nadzoru rynku i organom ochrony danych wzór formularza zawierającego informacje na temat liczby decyzji podjętych przez właściwe organy wymiaru sprawiedliwości lub wydający wiążące decyzje niezależny organ administracyjny w odniesieniu do wniosków o udzielenie zezwolenia zgodnie z ust. 3 oraz wyników ich rozpatrzenia.

7.   Komisja publikuje roczne sprawozdania na temat wykorzystania systemów zdalnej identyfikacji biometrycznej w czasie rzeczywistym w przestrzeni publicznej do celów ścigania przestępstw, oparte na zagregowanych danych w państwach członkowskich przekazanych w sprawozdaniach rocznych, o których mowa w ust. 6. Te sprawozdania roczne nie mogą zawierać wrażliwych danych operacyjnych dotyczących powiązanych działań w zakresie ścigania przestępstw.

8.   Niniejszy artykuł nie ma wpływu na zakazy mające zastosowanie w przypadku, gdy praktyka w zakresie AI narusza inne przepisy prawa Unii.