Obligations of deployers of high-risk AI systems

1.   Deployers of high-risk AI systems shall take appropriate technical and organisational measures to ensure they use such systems in accordance with the instructions for use accompanying the systems, pursuant to paragraphs 3 and 6.

2.   Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support.

3.   The obligations set out in paragraphs 1 and 2, are without prejudice to other deployer obligations under Union or national law and to the deployer’s freedom to organise its own resources and activities for the purpose of implementing the human oversight measures indicated by the provider.

4.   Without prejudice to paragraphs 1 and 2, to the extent the deployer exercises control over the input data, that deployer shall ensure that input data is relevant and sufficiently representative in view of the intended purpose of the high-risk AI system.

5.   Deployers shall monitor the operation of the high-risk AI system on the basis of the instructions for use and, where relevant, inform providers in accordance with Article 72. Where deployers have reason to consider that the use of the high-risk AI system in accordance with the instructions may result in that AI system presenting a risk within the meaning of Article 79(1), they shall, without undue delay, inform the provider or distributor and the relevant market surveillance authority, and shall suspend the use of that system. Where deployers have identified a serious incident, they shall also immediately inform first the provider, and then the importer or distributor and the relevant market surveillance authorities of that incident. If the deployer is not able to reach the provider, Article 73 shall apply mutatis mutandis. This obligation shall not cover sensitive operational data of deployers of AI systems which are law enforcement authorities.

For deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled by complying with the rules on internal governance arrangements, processes and mechanisms pursuant to the relevant financial service law.

6.   Deployers of high-risk AI systems shall keep the logs automatically generated by that high-risk AI system to the extent such logs are under their control, for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in applicable Union or national law, in particular in Union law on the protection of personal data.

Deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs as part of the documentation kept pursuant to the relevant Union financial service law.

7.   Before putting into service or using a high-risk AI system at the workplace, deployers who are employers shall inform workers’ representatives and the affected workers that they will be subject to the use of the high-risk AI system. This information shall be provided, where applicable, in accordance with the rules and procedures laid down in Union and national law and practice on information of workers and their representatives.

8.   Deployers of high-risk AI systems that are public authorities, or Union institutions, bodies, offices or agencies shall comply with the registration obligations referred to in Article 49. When such deployers find that the high-risk AI system that they envisage using has not been registered in the EU database referred to in Article 71, they shall not use that system and shall inform the provider or the distributor.

9.   Where applicable, deployers of high-risk AI systems shall use the information provided under Article 13 of this Regulation to comply with their obligation to carry out a data protection impact assessment under Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680.

10.   Without prejudice to Directive (EU) 2016/680, in the framework of an investigation for the targeted search of a person suspected or convicted of having committed a criminal offence, the deployer of a high-risk AI system for post-remote biometric identification shall request an authorisation, ex ante, or without undue delay and no later than 48 hours, by a judicial authority or an administrative authority whose decision is binding and subject to judicial review, for the use of that system, except when it is used for the initial identification of a potential suspect based on objective and verifiable facts directly linked to the offence. Each use shall be limited to what is strictly necessary for the investigation of a specific criminal offence.

If the authorisation requested pursuant to the first subparagraph is rejected, the use of the post-remote biometric identification system linked to that requested authorisation shall be stopped with immediate effect and the personal data linked to the use of the high-risk AI system for which the authorisation was requested shall be deleted.

In no case shall such high-risk AI system for post-remote biometric identification be used for law enforcement purposes in an untargeted way, without any link to a criminal offence, a criminal proceeding, a genuine and present or genuine and foreseeable threat of a criminal offence, or the search for a specific missing person. It shall be ensured that no decision that produces an adverse legal effect on a person may be taken by the law enforcement authorities based solely on the output of such post-remote biometric identification systems.

This paragraph is without prejudice to Article 9 of Regulation (EU) 2016/679 and Article 10 of Directive (EU) 2016/680 for the processing of biometric data.

Regardless of the purpose or deployer, each use of such high-risk AI systems shall be documented in the relevant police file and shall be made available to the relevant market surveillance authority and the national data protection authority upon request, excluding the disclosure of sensitive operational data related to law enforcement. This subparagraph shall be without prejudice to the powers conferred by Directive (EU) 2016/680 on supervisory authorities.

Deployers shall submit annual reports to the relevant market surveillance and national data protection authorities on their use of post-remote biometric identification systems, excluding the disclosure of sensitive operational data related to law enforcement. The reports may be aggregated to cover more than one deployment.

Member States may introduce, in accordance with Union law, more restrictive laws on the use of post-remote biometric identification systems.

11.   Without prejudice to Article 50 of this Regulation, deployers of high-risk AI systems referred to in Annex III that make decisions or assist in making decisions related to natural persons shall inform the natural persons that they are subject to the use of the high-risk AI system. For high-risk AI systems used for law enforcement purposes Article 13 of Directive (EU) 2016/680 shall apply.

12.   Deployers shall cooperate with the relevant competent authorities in any action those authorities take in relation to the high-risk AI system in order to implement this Regulation.

1.   Podmioty stosujące systemy AI wysokiego ryzyka podejmują – na podstawie ust. 3 i 6 – odpowiednie środki techniczne i organizacyjne w celu zapewnienia, aby systemy takie były wykorzystywane zgodnie z dołączoną do nich instrukcją obsługi.

2.   Podmioty stosujące powierzają sprawowanie nadzoru ze strony człowieka osobom fizycznym, które mają niezbędne kompetencje, przeszkolenie i uprawnienia, a także niezbędne wsparcie.

3.   Obowiązki ustanowione w ust. 1 i 2 pozostają bez uszczerbku dla innych obowiązków podmiotu stosującego wynikających z prawa Unii lub prawa krajowego oraz dla przysługującej podmiotowi stosującemu swobody organizowania swoich zasobów własnych i działań w celu wdrożenia wskazanych przez dostawcę środków nadzoru ze strony człowieka.

4.   Bez uszczerbku dla ust. 1 i 2 podmiot stosujący zapewnia, w zakresie, w jakim sprawuje on kontrolę nad danymi wejściowymi, adekwatność i wystarczającą reprezentatywność danych wejściowych w odniesieniu do przeznaczenia systemu AI wysokiego ryzyka.

5.   Podmioty stosujące monitorują działanie systemu AI wysokiego ryzyka w oparciu o instrukcję obsługi i w stosownych przypadkach informują dostawców zgodnie z art. 72. W przypadku gdy podmioty stosujące mają powody uważać, że wykorzystanie systemu AI wysokiego ryzyka zgodnie z instrukcją obsługi może powodować, że ten system AI będzie stwarzał ryzyko w rozumieniu art. 79 ust. 1, bez zbędnej zwłoki informują o tym dostawcę lub dystrybutora oraz odpowiedni organ nadzoru rynku i zawieszają wykorzystywanie systemu. W przypadku gdy podmioty stosujące stwierdziły wystąpienie poważnego incydentu, natychmiast informują o tym incydencie najpierw dostawcę, a następnie importera lub dystrybutora oraz odpowiednie organy nadzoru rynku. Jeżeli podmiot stosujący nie jest w stanie skontaktować się z dostawcą, art. 73 stosuje się odpowiednio. Obowiązek ten nie obejmuje wrażliwych danych operacyjnych podmiotów stosujących systemy AI będących organami ścigania.

W odniesieniu do podmiotów stosujących będących instytucjami finansowymi, które podlegają wymogom dotyczącym ich systemu zarządzania wewnętrznego, uzgodnień lub procedur na podstawie przepisów prawa Unii dotyczących usług finansowych, obowiązek w zakresie monitorowania, o którym mowa w akapicie pierwszym, uznaje się za spełniony w przypadku zapewnienia zgodności z przepisami dotyczącymi uzgodnień, procedur i mechanizmów zarządzania wewnętrznego na podstawie odpowiednich przepisów dotyczących usług finansowych.

6.   Podmioty stosujące systemy AI wysokiego ryzyka przechowują generowane automatycznie przez system AI wysokiego ryzyka rejestry zdarzeń – w zakresie, w jakim rejestry te znajdują się pod ich kontrolą – przez stosowny ze względu na przeznaczenie danego systemu AI wysokiego ryzyka okres, wynoszący co najmniej sześć miesięcy, o ile mające zastosowanie prawo Unii lub prawo krajowe, w szczególności prawo Unii dotyczące ochrony danych osobowych, nie stanowi inaczej.

Podmioty stosujące będące instytucjami finansowymi, które podlegają wymogom dotyczącym ich systemu zarządzania wewnętrznego, uzgodnień lub procedur na podstawie przepisów prawa Unii dotyczących usług finansowych, prowadzą rejestry zdarzeń jako część dokumentacji prowadzonej na podstawie odpowiednich unijnych przepisów dotyczących usług finansowych.

7.   Przed oddaniem do użytku lub wykorzystaniem systemu AI wysokiego ryzyka w miejscu pracy podmioty stosujące będące pracodawcami informują przedstawicieli pracowników i pracowników, których to dotyczy, że będzie w stosunku do nich wykorzystywany system AI wysokiego ryzyka. Informacje te przekazuje się, w stosownych przypadkach, zgodnie z zasadami i procedurami ustanowionymi w prawie Unii i prawie krajowym oraz praktyką w zakresie informowania pracowników i ich przedstawicieli.

8.   Podmioty stosujące systemy AI wysokiego ryzyka, będące publicznymi organami lub instytucjami, organami i jednostkami organizacyjnymi Unii, spełniają obowiązki rejestracji, o których mowa w art. 49. Jeżeli takie podmioty stosujące ustalą, że system AI wysokiego ryzyka, który zamierzają wykorzystywać, nie został zarejestrowany w bazie danych UE, o której mowa w art. 71, nie stosują tego systemu i informują o tym dostawcę lub dystrybutora.

9.   W stosownych przypadkach, podmioty stosujące systemy AI wysokiego ryzyka korzystają z informacji przekazanych na podstawie art. 13 niniejszego rozporządzenia, aby spełnić spoczywając na nich obowiązki przeprowadzenia oceny skutków dla ochrony danych zgodnie z art. 35 rozporządzenia (UE) 2016/679 lub art. 27 dyrektywy (UE) 2016/680.

10.   Bez uszczerbku dla dyrektywy (UE) 2016/680, w ramach postępowania przygotowawczego dotyczącego ukierunkowanego poszukiwania osoby podejrzanej o popełnienie przestępstwa lub skazanej za popełnienie przestępstwa podmiot stosujący system AI wysokiego ryzyka do celów zdalnej identyfikacji biometrycznej post factum zwraca się – ex ante lub bez zbędnej zwłoki, nie później jednak niż w ciągu 48 godzin – do organu wymiaru sprawiedliwości lub organu administracyjnego, którego decyzja jest wiążąca i podlega kontroli sądowej, z wnioskiem o zezwolenie na wykorzystanie tego systemu, z wyjątkiem sytuacji, gdy jest on wykorzystywany do wstępnej identyfikacji potencjalnego podejrzanego w oparciu o obiektywne i możliwe do zweryfikowania fakty bezpośrednio związane z przestępstwem. Każde wykorzystanie takiego systemu musi być ograniczone do tego, co jest bezwzględnie konieczne do prowadzenia postępowań przygotowawczych w sprawie konkretnego przestępstwa.

W przypadku gdy wniosek o zezwolenie, o którym mowa w akapicie pierwszym, zostanie odrzucony, korzystanie z systemu zdalnej identyfikacji biometrycznej post factum, będące przedmiotem wniosku o zezwolenie, zostaje wstrzymane ze skutkiem natychmiastowym, a dane osobowe związane z wykorzystaniem systemu AI wysokiego ryzyka, w odniesieniu do którego złożono wniosek o zezwolenie, zostają usunięte.

W żadnym przypadku taki system AI wysokiego ryzyka służący do zdalnej identyfikacji biometrycznej post factum nie może być wykorzystywany do celów ścigania przestępstw w sposób nieukierunkowany, bez związku z przestępstwem, postępowaniem karnym, rzeczywistym i obecnym lub rzeczywistym i dającym się przewidzieć zagrożeniem popełnieniem przestępstwa lub poszukiwaniem konkretnej osoby zaginionej. Zapewnia się, aby organy ścigania mogły wydać żadnej decyzji wywołującej niepożądane skutki prawne dla danej osoby wyłącznie na podstawie wyników uzyskanych z systemu zdalnej identyfikacji biometrycznej post factum.

Niniejszy ustęp pozostaje bez uszczerbku dla art. 9 rozporządzenia (UE) 2016/679 i art. 10 dyrektywy (UE) 2016/680 w odniesieniu do przetwarzania danych biometrycznych.

Niezależnie od celu lub podmiotu stosującego każde wykorzystanie takich systemów AI wysokiego ryzyka musi zostać udokumentowane w odpowiednich aktach policyjnych i udostępnione na wniosek właściwego organu nadzoru rynku i krajowemu organowi ochrony danych, z wyłączeniem ujawniania wrażliwych danych operacyjnych związanych ze ściganiem przestępstw. Niniejszy akapit pozostaje bez uszczerbku dla uprawnień powierzonych organom nadzorczym dyrektywą (UE) 2016/680.

Podmioty stosujące przedkładają właściwym organom nadzoru rynku i krajowym organom ochrony danych roczne sprawozdania dotyczące wykorzystania przez nie systemów zdalnej identyfikacji biometrycznej post factum, z wyłączeniem ujawniania wrażliwych danych operacyjnych związanych ze ściganiem przestępstw. Sprawozdania te mogą zostać zagregowane w celu uwzględnienia stosowania więcej niż jednego systemu.

Państwa członkowskie mogą wprowadzić, zgodnie z prawem Unii, bardziej restrykcyjne przepisy dotyczące korzystania z systemów zdalnej identyfikacji biometrycznej post factum.

11.   Bez uszczerbku dla art. 50 niniejszego rozporządzenia podmioty stosujące systemy wysokiego ryzyka, o których mowa w załączniku III, które to podmioty podejmują decyzje lub uczestniczą w podejmowaniu decyzji dotyczących osób fizycznych, informują osoby fizyczne o tym, że jest w stosunku do nich wykorzystywany system AI wysokiego ryzyka. W przypadku systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw stosuje się art. 13 dyrektywy (UE) 2016/680.

12.   Podmioty stosujące współpracują z odpowiednimi właściwymi organami przy wszelkich działaniach, które organy te podejmują w odniesieniu do systemu AI wysokiego ryzyka, w celu wykonywania niniejszego rozporządzenia.