Obligations of deployers of high-risk AI systems

1.   Deployers of high-risk AI systems shall take appropriate technical and organisational measures to ensure they use such systems in accordance with the instructions for use accompanying the systems, pursuant to paragraphs 3 and 6.

2.   Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support.

3.   The obligations set out in paragraphs 1 and 2, are without prejudice to other deployer obligations under Union or national law and to the deployer’s freedom to organise its own resources and activities for the purpose of implementing the human oversight measures indicated by the provider.

4.   Without prejudice to paragraphs 1 and 2, to the extent the deployer exercises control over the input data, that deployer shall ensure that input data is relevant and sufficiently representative in view of the intended purpose of the high-risk AI system.

5.   Deployers shall monitor the operation of the high-risk AI system on the basis of the instructions for use and, where relevant, inform providers in accordance with Article 72. Where deployers have reason to consider that the use of the high-risk AI system in accordance with the instructions may result in that AI system presenting a risk within the meaning of Article 79(1), they shall, without undue delay, inform the provider or distributor and the relevant market surveillance authority, and shall suspend the use of that system. Where deployers have identified a serious incident, they shall also immediately inform first the provider, and then the importer or distributor and the relevant market surveillance authorities of that incident. If the deployer is not able to reach the provider, Article 73 shall apply mutatis mutandis. This obligation shall not cover sensitive operational data of deployers of AI systems which are law enforcement authorities.

For deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled by complying with the rules on internal governance arrangements, processes and mechanisms pursuant to the relevant financial service law.

6.   Deployers of high-risk AI systems shall keep the logs automatically generated by that high-risk AI system to the extent such logs are under their control, for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in applicable Union or national law, in particular in Union law on the protection of personal data.

Deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs as part of the documentation kept pursuant to the relevant Union financial service law.

7.   Before putting into service or using a high-risk AI system at the workplace, deployers who are employers shall inform workers’ representatives and the affected workers that they will be subject to the use of the high-risk AI system. This information shall be provided, where applicable, in accordance with the rules and procedures laid down in Union and national law and practice on information of workers and their representatives.

8.   Deployers of high-risk AI systems that are public authorities, or Union institutions, bodies, offices or agencies shall comply with the registration obligations referred to in Article 49. When such deployers find that the high-risk AI system that they envisage using has not been registered in the EU database referred to in Article 71, they shall not use that system and shall inform the provider or the distributor.

9.   Where applicable, deployers of high-risk AI systems shall use the information provided under Article 13 of this Regulation to comply with their obligation to carry out a data protection impact assessment under Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680.

10.   Without prejudice to Directive (EU) 2016/680, in the framework of an investigation for the targeted search of a person suspected or convicted of having committed a criminal offence, the deployer of a high-risk AI system for post-remote biometric identification shall request an authorisation, ex ante, or without undue delay and no later than 48 hours, by a judicial authority or an administrative authority whose decision is binding and subject to judicial review, for the use of that system, except when it is used for the initial identification of a potential suspect based on objective and verifiable facts directly linked to the offence. Each use shall be limited to what is strictly necessary for the investigation of a specific criminal offence.

If the authorisation requested pursuant to the first subparagraph is rejected, the use of the post-remote biometric identification system linked to that requested authorisation shall be stopped with immediate effect and the personal data linked to the use of the high-risk AI system for which the authorisation was requested shall be deleted.

In no case shall such high-risk AI system for post-remote biometric identification be used for law enforcement purposes in an untargeted way, without any link to a criminal offence, a criminal proceeding, a genuine and present or genuine and foreseeable threat of a criminal offence, or the search for a specific missing person. It shall be ensured that no decision that produces an adverse legal effect on a person may be taken by the law enforcement authorities based solely on the output of such post-remote biometric identification systems.

This paragraph is without prejudice to Article 9 of Regulation (EU) 2016/679 and Article 10 of Directive (EU) 2016/680 for the processing of biometric data.

Regardless of the purpose or deployer, each use of such high-risk AI systems shall be documented in the relevant police file and shall be made available to the relevant market surveillance authority and the national data protection authority upon request, excluding the disclosure of sensitive operational data related to law enforcement. This subparagraph shall be without prejudice to the powers conferred by Directive (EU) 2016/680 on supervisory authorities.

Deployers shall submit annual reports to the relevant market surveillance and national data protection authorities on their use of post-remote biometric identification systems, excluding the disclosure of sensitive operational data related to law enforcement. The reports may be aggregated to cover more than one deployment.

Member States may introduce, in accordance with Union law, more restrictive laws on the use of post-remote biometric identification systems.

11.   Without prejudice to Article 50 of this Regulation, deployers of high-risk AI systems referred to in Annex III that make decisions or assist in making decisions related to natural persons shall inform the natural persons that they are subject to the use of the high-risk AI system. For high-risk AI systems used for law enforcement purposes Article 13 of Directive (EU) 2016/680 shall apply.

12.   Deployers shall cooperate with the relevant competent authorities in any action those authorities take in relation to the high-risk AI system in order to implement this Regulation.

1.   Subjekty zavádějící vysoce rizikové systémy AI přijmou vhodná technická a organizační opatření s cílem zajistit, že tyto systémy budou používány v souladu s návodem k použití přiloženým k těmto systémům na základě odstavců 3 a 6.

2.   Zavádějící subjekty pověří lidským dohledem fyzické osoby, které k tomu mají nezbytnou způsobilost, odbornou přípravu a pravomoc, jakož i potřebnou podporu.

3.   Povinnostmi uvedenými v odstavcích 1 a 2 nejsou dotčeny ostatní povinnosti zavádějících subjektů podle práva Unie nebo vnitrostátního práva ani volnost zavádějících subjektů při organizaci vlastních zdrojů a činností za účelem provádění opatření v oblasti lidského dohledu uvedených poskytovatelem.

4.   Aniž jsou dotčeny odstavce 1 a 2, zavádějící subjekt zajistí v rozsahu, v jakém vykonává kontrolu nad vstupními údaji, aby s ohledem na zamýšlený účel vysoce rizikového systému AI byla vstupní data relevantní a dostatečně reprezentativní.

5.   Zavádějící subjekty monitorují provoz vysoce rizikového systému AI na základě návodu k použití a v příslušných případech informují poskytovatele v souladu s článkem 72. Mají-li zavádějící subjekty důvod se domnívat, že používání vysoce rizikového systému AI v souladu s návodem k použití může založit riziko spojené se systémem AI ve smyslu čl. 79 odst. 1, bez zbytečného odkladu o této skutečnosti uvědomí poskytovatele nebo distributora a příslušné orgány dozoru nad trhem a používání systému pozastaví. Zjistí-li zavádějící subjekty závažný incident, neprodleně o tomto incidentu informují nejprve poskytovatele a poté dovozce nebo distributora a příslušné orgány dozoru nad trhem. V případě, že se zavádějícímu subjektu nepodaří poskytovatele kontaktovat, použije se obdobně článek 73. Tato povinnost se nevztahuje na citlivé operativní údaje subjektů zavádějících systémy AI, kteří jsou donucovacími orgány.

V případě zavádějících subjektů, které jsou finančními institucemi, na něž se vztahují požadavky týkající se jejich vnitřní správy, systémů nebo postupů podle práva Unie v oblasti finančních služeb, se povinnost monitorování stanovená v prvním pododstavci považuje za splněnou, jsou-li dodržena pravidla týkající se systémů, postupů a mechanismů vnitřní správy podle příslušného práva Unie v oblasti finančních služeb.

6.   Subjekty zavádějící vysoce rizikové systémy AI uchovávají protokoly automaticky generované tímto vysoce rizikovým systémem AI v rozsahu, v jakém jsou tyto protokoly pod jejich kontrolou, po dobu odpovídající zamýšlenému účelu vysoce rizikového systému AI, jež není kratší než šest měsíců, pokud platné unijní nebo vnitrostátní právo, zejména právo Unie o ochraně osobních údajů, nestanoví jinak.

Zavádějící subjekty, které jsou finančními institucemi, na něž se vztahují požadavky týkající se jejich vnitřní správy, systémů nebo postupů podle práva Unie v oblasti finančních služeb, uchovávají protokoly jako součást dokumentace vedené podle příslušného práva Unie v oblasti finančních služeb.

7.   Zavádějící subjekty, jež jsou zaměstnavateli, před uvedením do provozu nebo používáním vysoce rizikového systému AI na pracovišti informují zástupce zaměstnanců a dotčené pracovníky, že budou používání vysoce rizikového systému AI vystaveni. Tyto informace se případně poskytují jednak v souladu s pravidly a postupy stanovenými v právu Unie a vnitrostátním právu, a jednak v souladu se zvyklostmi pro informování pracovníků a jejich zástupců.

8.   Subjekty zavádějící vysoce rizikové systémy AI, jež jsou veřejnými orgány nebo orgány, institucemi nebo jinými subjekty Unie, plní povinnosti registrace uvedené v článku 49. Pokud tyto zavádějící subjekty zjistí, že vysoce rizikový systém AI, který hodlají používat, nebyl zaregistrován v databázi EU uvedené v článku 71, pak tento systém nepoužijí a informují o této skutečnosti poskytovatele nebo distributora.

9.   Subjekty zavádějící vysoce rizikové systémy AI v příslušných případech použijí informace poskytnuté podle článku 13 ke splnění své povinnosti provést posouzení vlivu na ochranu osobních údajů podle článku 35 nařízení (EU) 2016/679 nebo podle článku 27 směrnice (EU) 2016/680.

10.   Aniž je dotčena směrnice (EU) 2016/680, subjekt zavádějící vysoce rizikový systém AI pro následnou biometrickou identifikaci na dálku v rámci pátrání za účelem cíleného vyhledávání osoby podezřelé ze spáchání trestného činu nebo odsouzené za trestný čin požádá, buď předem, nebo bez zbytečného odkladu a nejpozději do 48 hodin, justiční orgán nebo správní orgán, jehož rozhodnutí je závazné a podléhá soudnímu přezkumu, o povolení použít daný systém, s výjimkou případů, kdy se tento systém používá k prvotní identifikaci potenciálního podezřelého na základě objektivních a ověřitelných skutečností přímo souvisejících s trestným činem. Každé použití je omezeno na to, co je nezbytně nutné pro vyšetřování konkrétního trestného činu.

Je-li povolení, o něž je požádáno podle prvního pododstavce, zamítnuto, používání systému pro následnou biometrickou identifikaci na dálku spojeného s tímto požadovaným povolením se s okamžitým účinkem ukončí a osobní údaje spojené s používáním daného vysoce rizikového systému AI, pro který bylo o povolení požádáno, se vymažou.

V žádném případě nesmí být tento vysoce rizikový systém AI pro následnou biometrickou identifikaci na dálku používán pro účely vymáhání práva necíleným způsobem, bez jakékoli souvislosti s určitým trestným činem, trestním řízením, skutečnou a aktuální nebo skutečnou a předvídatelnou hrozbou trestného činu nebo pátráním po konkrétní pohřešované osobě. Zajistí se, aby donucovací orgány nemohly výlučně na základě výstupu těchto systémů pro následnou biometrickou identifikaci na dálku přijmout žádné rozhodnutí, které má pro danou osobu nepříznivé právní účinky.

Tímto odstavcem není dotčen článek 9 nařízení (EU) 2016/679 a článek 10 směrnice (EU) 2016/680, pokud jde o zpracování biometrických údajů.

Bez ohledu na účel nebo zavádějící subjekt je každé použití těchto vysoce rizikových systémů AI zdokumentováno v příslušném policejním spisu a na požádání zpřístupněno příslušnému orgánu dozoru nad trhem a vnitrostátnímu orgánu pro ochranu osobních údajů, s výjimkou uvedení citlivých operativních údajů týkajících se vymáhání práva. Tímto pododstavcem nejsou dotčeny pravomoci, které směrnice (EU) 2016/680 svěřuje dozorovým orgánům.

Zavádějící subjekty předkládají příslušným orgánům dozoru nad trhem a vnitrostátním orgánům pro ochranu osobních údajů výroční zprávy, v níž je uvedeno, jak systémy pro následnou biometrickou identifikaci na dálku používají, s výjimkou uvedení citlivých operativních údajů týkajících se vymáhání práva. Zprávy je možné vypracovat souhrnně tak, aby se vztahovali k více než jednomu zavedení systému.

Členské státy mohou v souladu s právem Unie zavést přísnější právní předpisy týkající se používání systémů pro následnou biometrickou identifikaci na dálku.

11.   Aniž je dotčen článek 50 tohoto nařízení, subjekty zavádějící vysoce rizikové systémy AI uvedené v příloze III, které přijímají rozhodnutí nebo pomáhají při přijímání rozhodnutí týkajících se fyzických osob, tyto fyzické osoby informují, že jsou použití vysoce rizikového systému AI vystaveny. Na vysoce rizikové systémy AI používané pro účely vymáhání práva se použije článek 13 směrnice (EU) 2016/680.

12.   Zavádějící subjekty spolupracují s příslušnými orgány na veškerých opatřeních, která tyto orgány v souvislosti s vysoce rizikovým systémem AI přijmou za účelem provádění tohoto nařízení.