Obligations of deployers of high-risk AI systems

1.   Deployers of high-risk AI systems shall take appropriate technical and organisational measures to ensure they use such systems in accordance with the instructions for use accompanying the systems, pursuant to paragraphs 3 and 6.

2.   Deployers shall assign human oversight to natural persons who have the necessary competence, training and authority, as well as the necessary support.

3.   The obligations set out in paragraphs 1 and 2, are without prejudice to other deployer obligations under Union or national law and to the deployer’s freedom to organise its own resources and activities for the purpose of implementing the human oversight measures indicated by the provider.

4.   Without prejudice to paragraphs 1 and 2, to the extent the deployer exercises control over the input data, that deployer shall ensure that input data is relevant and sufficiently representative in view of the intended purpose of the high-risk AI system.

5.   Deployers shall monitor the operation of the high-risk AI system on the basis of the instructions for use and, where relevant, inform providers in accordance with Article 72. Where deployers have reason to consider that the use of the high-risk AI system in accordance with the instructions may result in that AI system presenting a risk within the meaning of Article 79(1), they shall, without undue delay, inform the provider or distributor and the relevant market surveillance authority, and shall suspend the use of that system. Where deployers have identified a serious incident, they shall also immediately inform first the provider, and then the importer or distributor and the relevant market surveillance authorities of that incident. If the deployer is not able to reach the provider, Article 73 shall apply mutatis mutandis. This obligation shall not cover sensitive operational data of deployers of AI systems which are law enforcement authorities.

For deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law, the monitoring obligation set out in the first subparagraph shall be deemed to be fulfilled by complying with the rules on internal governance arrangements, processes and mechanisms pursuant to the relevant financial service law.

6.   Deployers of high-risk AI systems shall keep the logs automatically generated by that high-risk AI system to the extent such logs are under their control, for a period appropriate to the intended purpose of the high-risk AI system, of at least six months, unless provided otherwise in applicable Union or national law, in particular in Union law on the protection of personal data.

Deployers that are financial institutions subject to requirements regarding their internal governance, arrangements or processes under Union financial services law shall maintain the logs as part of the documentation kept pursuant to the relevant Union financial service law.

7.   Before putting into service or using a high-risk AI system at the workplace, deployers who are employers shall inform workers’ representatives and the affected workers that they will be subject to the use of the high-risk AI system. This information shall be provided, where applicable, in accordance with the rules and procedures laid down in Union and national law and practice on information of workers and their representatives.

8.   Deployers of high-risk AI systems that are public authorities, or Union institutions, bodies, offices or agencies shall comply with the registration obligations referred to in Article 49. When such deployers find that the high-risk AI system that they envisage using has not been registered in the EU database referred to in Article 71, they shall not use that system and shall inform the provider or the distributor.

9.   Where applicable, deployers of high-risk AI systems shall use the information provided under Article 13 of this Regulation to comply with their obligation to carry out a data protection impact assessment under Article 35 of Regulation (EU) 2016/679 or Article 27 of Directive (EU) 2016/680.

10.   Without prejudice to Directive (EU) 2016/680, in the framework of an investigation for the targeted search of a person suspected or convicted of having committed a criminal offence, the deployer of a high-risk AI system for post-remote biometric identification shall request an authorisation, ex ante, or without undue delay and no later than 48 hours, by a judicial authority or an administrative authority whose decision is binding and subject to judicial review, for the use of that system, except when it is used for the initial identification of a potential suspect based on objective and verifiable facts directly linked to the offence. Each use shall be limited to what is strictly necessary for the investigation of a specific criminal offence.

If the authorisation requested pursuant to the first subparagraph is rejected, the use of the post-remote biometric identification system linked to that requested authorisation shall be stopped with immediate effect and the personal data linked to the use of the high-risk AI system for which the authorisation was requested shall be deleted.

In no case shall such high-risk AI system for post-remote biometric identification be used for law enforcement purposes in an untargeted way, without any link to a criminal offence, a criminal proceeding, a genuine and present or genuine and foreseeable threat of a criminal offence, or the search for a specific missing person. It shall be ensured that no decision that produces an adverse legal effect on a person may be taken by the law enforcement authorities based solely on the output of such post-remote biometric identification systems.

This paragraph is without prejudice to Article 9 of Regulation (EU) 2016/679 and Article 10 of Directive (EU) 2016/680 for the processing of biometric data.

Regardless of the purpose or deployer, each use of such high-risk AI systems shall be documented in the relevant police file and shall be made available to the relevant market surveillance authority and the national data protection authority upon request, excluding the disclosure of sensitive operational data related to law enforcement. This subparagraph shall be without prejudice to the powers conferred by Directive (EU) 2016/680 on supervisory authorities.

Deployers shall submit annual reports to the relevant market surveillance and national data protection authorities on their use of post-remote biometric identification systems, excluding the disclosure of sensitive operational data related to law enforcement. The reports may be aggregated to cover more than one deployment.

Member States may introduce, in accordance with Union law, more restrictive laws on the use of post-remote biometric identification systems.

11.   Without prejudice to Article 50 of this Regulation, deployers of high-risk AI systems referred to in Annex III that make decisions or assist in making decisions related to natural persons shall inform the natural persons that they are subject to the use of the high-risk AI system. For high-risk AI systems used for law enforcement purposes Article 13 of Directive (EU) 2016/680 shall apply.

12.   Deployers shall cooperate with the relevant competent authorities in any action those authorities take in relation to the high-risk AI system in order to implement this Regulation.

1.   Subjekty nasadzujúce vysokorizikové systémy AI prijmú vhodné technické a organizačné opatrenia s cieľom zabezpečiť, aby používali takéto systémy v súlade s návodom na použitie, ktorý je k nim priložený, a to podľa odsekov 3 a 6.

2.   Nasadzujúce subjekty pridelia ľudský dohľad fyzickým osobám, ktoré majú potrebnú spôsobilosť, odbornú prípravu a právomoci, ako aj nevyhnutnú podporu.

3.   Povinnosťami uvedenými v odsekoch 1 a 2 nie sú dotknuté iné povinnosti nasadzujúceho subjektu vyplývajúce z práva Únie alebo vnútroštátneho práva ani slobodné rozhodovanie nasadzujúceho subjektu pri organizovaní svojich vlastných zdrojov a činností na účely vykonávania opatrení na zabezpečenie ľudského dohľadu, ako ich uviedol poskytovateľ.

4.   Bez toho, aby boli dotknuté odseky 1 a 2, a pokiaľ má nasadzujúci subjekt kontrolu nad vstupnými údajmi, tento nasadzujúci subjekt zabezpečí, aby vstupné údaje boli relevantné a dostatočne reprezentatívne z hľadiska zamýšľaného účelu vysokorizikového systému AI.

5.   Nasadzujúce subjekty monitorujú prevádzku vysokorizikového systému AI na základe návodu na použitie, a ak je to relevantné, informujú poskytovateľov v súlade s článkom 72. Ak majú nasadzujúce subjekty dôvod domnievať sa, že používanie vysokorizikového systému AI v súlade s návodom môže viesť k tomu, že uvedený systém AI predstavuje riziko v zmysle článku 79 ods. 1, bez zbytočného odkladu informujú poskytovateľa alebo distribútora a relevantný orgán dohľadu nad trhom a používanie tohto systému pozastavia. Ak nasadzujúce subjekty zistia závažný incident, bezodkladne o tom najprv informujú poskytovateľa a potom dovozcu alebo distribútora a príslušné orgány dohľadu nad trhom. V prípade, že nasadzujúci subjekt nedokáže poskytovateľa kontaktovať, uplatňuje sa mutatis mutandis článok 73. Táto povinnosť sa nevzťahuje na citlivé operačné údaje subjektov nasadzujúcich systémy AI, ktoré sú orgánmi presadzovania práva.

V prípade nasadzujúcich subjektov, ktoré sú finančnými inštitúciami, na ktoré sa vzťahujú požiadavky týkajúce sa ich vnútornej správy a riadenia, dojednaní alebo postupov podľa práva Únie v oblasti finančných služieb, sa monitorovacia povinnosť stanovená v prvom pododseku považuje za splnenú, ak sú dodržané pravidlá týkajúce sa vnútornej správy a riadenia, postupov a mechanizmov podľa príslušného práva v oblasti finančných služieb.

6.   Subjekty nasadzujúce vysokorizikové systémy AI uchovávajú logy automaticky generované týmto vysokorizikovým systémom AI, pokiaľ sú takéto logy pod ich kontrolou, počas obdobia primeraného zamýšľanému účelu vysokorizikového systému AI, a to najmenej šesť mesiacov, ak sa v uplatniteľnom práve Únie alebo vo vnútroštátnom práve, najmä v práve Únie o ochrane osobných údajov nestanovuje inak.

Nasadzujúce subjekty, ktoré sú finančnými inštitúciami, a na ktoré sa vzťahujú požiadavky týkajúce sa ich vnútornej správy a riadenia, dojednaní alebo postupov podľa práva Únie v oblasti finančných služieb, uchovávajú logy ako súčasť dokumentácie uchovávanej v súlade s príslušným právom Únie v oblasti finančných služieb.

7.   Pred uvedením vysokorizikového systému AI do prevádzky alebo používaním na pracovisku nasadzujúce subjekty, ktoré sú zamestnávateľmi, informujú zástupcov pracovníkov a dotknutých pracovníkov o tom, že budú vystavení používaniu vysokorizikového systému AI. Tieto informácie sa v uplatniteľných prípadoch poskytujú v súlade s pravidlami a postupmi stanovenými v práve Únie a vo vnútroštátnom práve a praxi v oblasti informovania pracovníkov a ich zástupcov.

8.   Subjekty nasadzujúce vysokorizikové systémy AI, ktoré sú orgánmi verejnej moci alebo inštitúciami, orgánmi, úradmi alebo agentúrami Únie, plnia povinnosti týkajúce sa registrácie uvedené v článku 49. Ak nasadzujúce subjekty zistia, že vysokorizikový systém AI, ktorý plánujú používať, nebol zaregistrovaný v databáze Únie uvedenej v článku 71, nepoužívajú tento systém a informujú o tom poskytovateľa alebo distribútora.

9.   Na splnenie svojej povinnosti vykonať posúdenie vplyvu na ochranu údajov podľa článku 35 nariadenia (EÚ) 2016/679 alebo článku 27 smernice (EÚ) 2016/680 subjekty nasadzujúce vysokorizikové systémy AI podľa okolností využijú informácie poskytnuté podľa článku 13 tohto nariadenia.

10.   Bez toho, aby bola dotknutá smernica (EÚ) 2016/680, subjekt nasadzujúci vysokorizikový systém AI na účely následnej diaľkovej biometrickej identifikácie v rámci vyšetrovania v prípade cieleného pátrania po osobe podozrivej zo spáchania trestného činu alebo z tohto dôvodu odsúdenej požiada ex ante alebo bez zbytočného odkladu a najneskôr do 48 hodín o povolenie justičného orgánu alebo správneho orgánu, ktorého rozhodnutie je záväzné a podlieha súdnemu preskúmaniu, o použitie tohto systému, s výnimkou prípadov, keď sa systém používa na počiatočnú identifikáciu potenciálnej podozrivej osoby na základe objektívnych a overiteľných skutočností priamo súvisiacich s trestným činom. Každé použitie sa obmedzuje na to, čo je nevyhnutne potrebné na vyšetrovanie konkrétneho trestného činu.

Ak sa povolenie požadované podľa prvého pododseku zamietne, používanie systému následnej diaľkovej biometrickej identifikácie súvisiace s týmto požadovaným povolením sa s okamžitou účinnosťou zastaví a osobné údaje súvisiace s používaním vysokorizikového systému AI, pre ktoré sa povolenie žiadalo, sa vymažú.

Takýto vysokorizikový systém AI na následnú diaľkovú biometrickú identifikáciu sa v žiadnom prípade nepoužíva na účely presadzovania práva necieleným spôsobom, bez akejkoľvek súvislosti s trestným činom, trestným konaním, skutočnou a existujúcou alebo skutočnou a predvídateľnou hrozbou trestného činu alebo pátraním po konkrétnej nezvestnej osobe. Zabezpečí sa, aby orgány presadzovania práva nemohli prijať žiadne rozhodnutie, ktoré má nepriaznivé právne účinky na danú osobu, a to výlučne na základe výstupu takýchto systémov následnej diaľkovej biometrickej identifikácie.

Týmto odsekom nie je dotknutý článok 9 nariadenia (EÚ) 2016/679 a článok 10 smernice (EÚ) 2016/680 týkajúce sa spracúvania biometrických údajov.

Bez ohľadu na účel alebo nasadzujúci subjekt sa každé použitie týchto vysokorizikových systémov AI zdokumentuje v príslušnom policajnom spise a na požiadanie sa sprístupní relevantnému orgánu dohľadu nad trhom a vnútroštátnemu orgánu pre ochranu údajov, s výnimkou zverejnenia citlivých operačných údajov týkajúcich sa presadzovania práva. Týmto pododsekom nie sú dotknuté právomoci, ktoré sa smernicou (EÚ) 2016/680 udeľujú orgánom dohľadu.

Nasadzujúce subjekty predkladajú relevantným orgánom dohľadu nad trhom a vnútroštátnym orgánom pre ochranu údajov výročné správy o ich používaní systémov následnej diaľkovej biometrickej identifikácie s výnimkou zverejňovania citlivých operačných údajov týkajúcich sa presadzovania práva. Správy možno agregovať tak, aby zahŕňali viac ako len jedno nasadenie.

Členské štáty môžu v súlade s právom Únie zaviesť prísnejšie právne predpisy pre používanie systémov následnej diaľkovej biometrickej identifikácie.

11.   Bez toho, aby bol dotknutý článok 50 tohto nariadenia, subjekty nasadzujúce vysokorizikové systémy AI uvedené v prílohe III, ktoré prijímajú rozhodnutia alebo pomáhajú pri prijímaní rozhodnutí týkajúcich sa fyzických osôb, informujú tieto fyzické osoby o tom, že sa na ne vzťahuje používanie vysokorizikového systému AI. Na vysokorizikové systémy AI používané na účely presadzovania práva sa uplatňuje článok 13 smernice (EÚ) 2016/680.

12.   Nasadzujúce subjekty spolupracujú s relevantnými príslušnými orgánmi na každom opatrení, ktoré tieto orgány prijmú v súvislosti s vysokorizikovým systémom AI s cieľom vykonávať toto nariadenie.