Povinnosti zavádějících subjektů vysoce rizikových systémů AI

1.   Subjekty zavádějící vysoce rizikové systémy AI přijmou vhodná technická a organizační opatření s cílem zajistit, že tyto systémy budou používány v souladu s návodem k použití přiloženým k těmto systémům na základě odstavců 3 a 6.

2.   Zavádějící subjekty pověří lidským dohledem fyzické osoby, které k tomu mají nezbytnou způsobilost, odbornou přípravu a pravomoc, jakož i potřebnou podporu.

3.   Povinnostmi uvedenými v odstavcích 1 a 2 nejsou dotčeny ostatní povinnosti zavádějících subjektů podle práva Unie nebo vnitrostátního práva ani volnost zavádějících subjektů při organizaci vlastních zdrojů a činností za účelem provádění opatření v oblasti lidského dohledu uvedených poskytovatelem.

4.   Aniž jsou dotčeny odstavce 1 a 2, zavádějící subjekt zajistí v rozsahu, v jakém vykonává kontrolu nad vstupními údaji, aby s ohledem na zamýšlený účel vysoce rizikového systému AI byla vstupní data relevantní a dostatečně reprezentativní.

5.   Zavádějící subjekty monitorují provoz vysoce rizikového systému AI na základě návodu k použití a v příslušných případech informují poskytovatele v souladu s článkem 72. Mají-li zavádějící subjekty důvod se domnívat, že používání vysoce rizikového systému AI v souladu s návodem k použití může založit riziko spojené se systémem AI ve smyslu čl. 79 odst. 1, bez zbytečného odkladu o této skutečnosti uvědomí poskytovatele nebo distributora a příslušné orgány dozoru nad trhem a používání systému pozastaví. Zjistí-li zavádějící subjekty závažný incident, neprodleně o tomto incidentu informují nejprve poskytovatele a poté dovozce nebo distributora a příslušné orgány dozoru nad trhem. V případě, že se zavádějícímu subjektu nepodaří poskytovatele kontaktovat, použije se obdobně článek 73. Tato povinnost se nevztahuje na citlivé operativní údaje subjektů zavádějících systémy AI, kteří jsou donucovacími orgány.

V případě zavádějících subjektů, které jsou finančními institucemi, na něž se vztahují požadavky týkající se jejich vnitřní správy, systémů nebo postupů podle práva Unie v oblasti finančních služeb, se povinnost monitorování stanovená v prvním pododstavci považuje za splněnou, jsou-li dodržena pravidla týkající se systémů, postupů a mechanismů vnitřní správy podle příslušného práva Unie v oblasti finančních služeb.

6.   Subjekty zavádějící vysoce rizikové systémy AI uchovávají protokoly automaticky generované tímto vysoce rizikovým systémem AI v rozsahu, v jakém jsou tyto protokoly pod jejich kontrolou, po dobu odpovídající zamýšlenému účelu vysoce rizikového systému AI, jež není kratší než šest měsíců, pokud platné unijní nebo vnitrostátní právo, zejména právo Unie o ochraně osobních údajů, nestanoví jinak.

Zavádějící subjekty, které jsou finančními institucemi, na něž se vztahují požadavky týkající se jejich vnitřní správy, systémů nebo postupů podle práva Unie v oblasti finančních služeb, uchovávají protokoly jako součást dokumentace vedené podle příslušného práva Unie v oblasti finančních služeb.

7.   Zavádějící subjekty, jež jsou zaměstnavateli, před uvedením do provozu nebo používáním vysoce rizikového systému AI na pracovišti informují zástupce zaměstnanců a dotčené pracovníky, že budou používání vysoce rizikového systému AI vystaveni. Tyto informace se případně poskytují jednak v souladu s pravidly a postupy stanovenými v právu Unie a vnitrostátním právu, a jednak v souladu se zvyklostmi pro informování pracovníků a jejich zástupců.

8.   Subjekty zavádějící vysoce rizikové systémy AI, jež jsou veřejnými orgány nebo orgány, institucemi nebo jinými subjekty Unie, plní povinnosti registrace uvedené v článku 49. Pokud tyto zavádějící subjekty zjistí, že vysoce rizikový systém AI, který hodlají používat, nebyl zaregistrován v databázi EU uvedené v článku 71, pak tento systém nepoužijí a informují o této skutečnosti poskytovatele nebo distributora.

9.   Subjekty zavádějící vysoce rizikové systémy AI v příslušných případech použijí informace poskytnuté podle článku 13 ke splnění své povinnosti provést posouzení vlivu na ochranu osobních údajů podle článku 35 nařízení (EU) 2016/679 nebo podle článku 27 směrnice (EU) 2016/680.

10.   Aniž je dotčena směrnice (EU) 2016/680, subjekt zavádějící vysoce rizikový systém AI pro následnou biometrickou identifikaci na dálku v rámci pátrání za účelem cíleného vyhledávání osoby podezřelé ze spáchání trestného činu nebo odsouzené za trestný čin požádá, buď předem, nebo bez zbytečného odkladu a nejpozději do 48 hodin, justiční orgán nebo správní orgán, jehož rozhodnutí je závazné a podléhá soudnímu přezkumu, o povolení použít daný systém, s výjimkou případů, kdy se tento systém používá k prvotní identifikaci potenciálního podezřelého na základě objektivních a ověřitelných skutečností přímo souvisejících s trestným činem. Každé použití je omezeno na to, co je nezbytně nutné pro vyšetřování konkrétního trestného činu.

Je-li povolení, o něž je požádáno podle prvního pododstavce, zamítnuto, používání systému pro následnou biometrickou identifikaci na dálku spojeného s tímto požadovaným povolením se s okamžitým účinkem ukončí a osobní údaje spojené s používáním daného vysoce rizikového systému AI, pro který bylo o povolení požádáno, se vymažou.

V žádném případě nesmí být tento vysoce rizikový systém AI pro následnou biometrickou identifikaci na dálku používán pro účely vymáhání práva necíleným způsobem, bez jakékoli souvislosti s určitým trestným činem, trestním řízením, skutečnou a aktuální nebo skutečnou a předvídatelnou hrozbou trestného činu nebo pátráním po konkrétní pohřešované osobě. Zajistí se, aby donucovací orgány nemohly výlučně na základě výstupu těchto systémů pro následnou biometrickou identifikaci na dálku přijmout žádné rozhodnutí, které má pro danou osobu nepříznivé právní účinky.

Tímto odstavcem není dotčen článek 9 nařízení (EU) 2016/679 a článek 10 směrnice (EU) 2016/680, pokud jde o zpracování biometrických údajů.

Bez ohledu na účel nebo zavádějící subjekt je každé použití těchto vysoce rizikových systémů AI zdokumentováno v příslušném policejním spisu a na požádání zpřístupněno příslušnému orgánu dozoru nad trhem a vnitrostátnímu orgánu pro ochranu osobních údajů, s výjimkou uvedení citlivých operativních údajů týkajících se vymáhání práva. Tímto pododstavcem nejsou dotčeny pravomoci, které směrnice (EU) 2016/680 svěřuje dozorovým orgánům.

Zavádějící subjekty předkládají příslušným orgánům dozoru nad trhem a vnitrostátním orgánům pro ochranu osobních údajů výroční zprávy, v níž je uvedeno, jak systémy pro následnou biometrickou identifikaci na dálku používají, s výjimkou uvedení citlivých operativních údajů týkajících se vymáhání práva. Zprávy je možné vypracovat souhrnně tak, aby se vztahovali k více než jednomu zavedení systému.

Členské státy mohou v souladu s právem Unie zavést přísnější právní předpisy týkající se používání systémů pro následnou biometrickou identifikaci na dálku.

11.   Aniž je dotčen článek 50 tohoto nařízení, subjekty zavádějící vysoce rizikové systémy AI uvedené v příloze III, které přijímají rozhodnutí nebo pomáhají při přijímání rozhodnutí týkajících se fyzických osob, tyto fyzické osoby informují, že jsou použití vysoce rizikového systému AI vystaveny. Na vysoce rizikové systémy AI používané pro účely vymáhání práva se použije článek 13 směrnice (EU) 2016/680.

12.   Zavádějící subjekty spolupracují s příslušnými orgány na veškerých opatřeních, která tyto orgány v souvislosti s vysoce rizikovým systémem AI přijmou za účelem provádění tohoto nařízení.

(1)   Die Betreiber von Hochrisiko-KI-Systemen treffen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass sie solche Systeme entsprechend der den Systemen beigefügten Betriebsanleitungen und gemäß den Absätzen 3 und 6 verwenden.

(2)   Die Betreiber übertragen natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht und lassen ihnen die erforderliche Unterstützung zukommen.

(3)   Die Pflichten nach den Absätzen 1 und 2 lassen sonstige Pflichten der Betreiber nach Unionsrecht oder nationalem Recht sowie die Freiheit der Betreiber bei der Organisation ihrer eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht unberührt.

(4)   Unbeschadet der Absätze 1 und 2 und soweit die Eingabedaten ihrer Kontrolle unterliegen, sorgen die Betreiber dafür, dass die Eingabedaten der Zweckbestimmung des Hochrisiko-KI-Systems entsprechen und ausreichend repräsentativ sind.

(5)   Die Betreiber überwachen den Betrieb des Hochrisiko-KI-Systems anhand der Betriebsanleitung und informieren gegebenenfalls die Anbieter gemäß Artikel 72. Haben Betreiber Grund zu der Annahme, dass die Verwendung gemäß der Betriebsanleitung dazu führen kann, dass dieses Hochrisiko-KI-System ein Risiko im Sinne des Artikels 79 Absatz 1 birgt, so informieren sie unverzüglich den Anbieter oder Händler und die zuständige Marktüberwachungsbehörde und setzen die Verwendung dieses Systems aus. Haben die Betreiber einen schwerwiegenden Vorfall festgestellt, informieren sie auch unverzüglich zuerst den Anbieter und dann den Einführer oder Händler und die zuständigen Marktüberwachungsbehörden über diesen Vorfall. Kann der Betreiber den Anbieter nicht erreichen, so gilt Artikel 73 entsprechend. Diese Pflicht gilt nicht für sensible operative Daten von Betreibern von KI-Systemen, die Strafverfolgungsbehörden sind.

Bei Betreibern, die Finanzinstitute sind und gemäß den Rechtsvorschriften der Union über Finanzdienstleistungen Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung, unterliegen, gilt die in Unterabsatz 1 festgelegte Überwachungspflicht als erfüllt, wenn die Vorschriften über Regelungen, Verfahren oder Mechanismen der internen Unternehmensführung gemäß einschlägigem Recht über Finanzdienstleistungen eingehalten werden.

(6)   Betreiber von Hochrisiko-KI-Systemen bewahren die von ihrem Hochrisiko-KI-System automatisch erzeugten Protokolle, soweit diese Protokolle ihrer Kontrolle unterliegen, für einen der Zweckbestimmung des Hochrisiko-KI-Systems angemessenen Zeitraum von mindestens sechs Monaten auf, sofern im geltenden Unionsrecht, insbesondere im Unionsrecht über den Schutz personenbezogener Daten, oder im geltenden nationalen Recht nichts anderes bestimmt ist.

Betreiber, die Finanzinstitute sind und gemäß den Rechtsvorschriften der Union über Finanzdienstleistungen Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung unterliegen, bewahren die Protokolle als Teil der gemäß einschlägigem Unionsecht über Finanzdienstleistungen aufzubewahrenden Dokumentation auf.

(7)   Vor der Inbetriebnahme oder Verwendung eines Hochrisiko-KI-Systems am Arbeitsplatz informieren Betreiber, die Arbeitgeber sind, die Arbeitnehmervertreter und die betroffenen Arbeitnehmer darüber, dass sie der Verwendung des Hochrisiko-KI-Systems unterliegen werden. Diese Informationen werden gegebenenfalls im Einklang mit den Vorschriften und Gepflogenheiten auf Unionsebene und nationaler Ebene in Bezug auf die Unterrichtung der Arbeitnehmer und ihrer Vertreter bereitgestellt.

(8)   Betreiber von Hochrisiko-KI-Systemen, bei denen es sich um Organe, Einrichtungen oder sonstige Stellen der Union handelt, müssen den Registrierungspflichten gemäß Artikel 49 nachkommen. Stellen diese Betreiber fest, dass das Hochrisiko-KI-System, dessen Verwendung sie planen, nicht in der in Artikel 71 genannten EU-Datenbank registriert wurde, sehen sie von der Verwendung dieses Systems ab und informieren den Anbieter oder den Händler.

(9)   Die Betreiber von Hochrisiko-KI-Systemen verwenden gegebenenfalls die gemäß Artikel 13 der vorliegenden Verordnung bereitgestellten Informationen, um ihrer Pflicht zur Durchführung einer Datenschutz-Folgenabschätzung gemäß Artikel 35 der Verordnung (EU) 2016/679 oder Artikel 27 der Richtlinie (EU) 2016/680 nachzukommen.

(10)   Unbeschadet der Richtlinie (EU) 2016/680 beantragt der Betreiber eines Hochrisiko-KI-Systems zur nachträglichen biometrischen Fernfernidentifizierung im Rahmen von Ermittlungen zur gezielten Suche einer Person, die der Begehung einer Straftat verdächtigt wird oder aufgrund einer solchen verurteilt wurde, vorab oder unverzüglich, spätestens jedoch binnen 48 Stunden bei einer Justizbehörde oder einer Verwaltungsbehörde, deren Entscheidung bindend ist und einer justiziellen Überprüfung unterliegt, die Genehmigung für die Nutzung dieses Systems, es sei denn, es wird zur erstmaligen Identifizierung eines potenziellen Verdächtigen auf der Grundlage objektiver und nachprüfbarer Tatsachen, die in unmittelbarem Zusammenhang mit der Straftat stehen, verwendet. Jede Verwendung ist auf das für die Ermittlung einer bestimmten Straftat unbedingt erforderliche Maß zu beschränken.

Wird die gemäß Unterabsatz 1 beantragte Genehmigung abgelehnt, so wird die Verwendung des mit dieser beantragten Genehmigung verbundenen Systems zur nachträglichen biometrischen Fernidentifizierung mit sofortiger Wirkung eingestellt und werden die personenbezogenen Daten, die im Zusammenhang mit der Verwendung des Hochrisiko-KI-Systems stehen, für die die Genehmigung beantragt wurde, gelöscht.

In keinem Fall darf ein solches Hochrisiko-KI-System zur nachträglichen biometrischen Fernidentifizierung zu Strafverfolgungszwecken in nicht zielgerichteter Weise und ohne jeglichen Zusammenhang mit einer Straftat, einem Strafverfahren, einer tatsächlichen und bestehenden oder tatsächlichen und vorhersehbaren Gefahr einer Straftat oder der Suche nach einer bestimmten vermissten Person verwendet werden. Es muss sichergestellt werden, dass die Strafverfolgungsbehörden keine ausschließlich auf der Grundlage der Ausgabe solcher Systeme zur nachträglichen biometrischen Fernidentifizierung beruhende Entscheidung, aus der sich eine nachteilige Rechtsfolge für eine Person ergibt, treffen.

Dieser Absatz gilt unbeschadet des Artikels 9 der Verordnung (EU) 2016/679 und des Artikels 10 der Richtlinie (EU) 2016/680 für die Verarbeitung biometrischer Daten.

Unabhängig vom Zweck oder Betreiber wird jede Verwendung solcher Hochrisiko-KI-Systeme in der einschlägigen Polizeiakte dokumentiert und der zuständigen Marktüberwachungsbehörde und der nationalen Datenschutzbehörde auf Anfrage zur Verfügung gestellt, wovon die Offenlegung sensibler operativer Daten im Zusammenhang mit der Strafverfolgung ausgenommen ist. Dieser Unterabsatz berührt nicht die den Aufsichtsbehörden durch die Richtlinie (EU) 2016/680 übertragenen Befugnisse.

Die Betreiber legen den zuständigen Marktüberwachungsbehörden und den nationalen Datenschutzbehörden Jahresberichte über ihre Verwendung von Systemen zur nachträglichen biometrischen Fernidentifizierung vor, wovon die Offenlegung sensibler operativer Daten im Zusammenhang mit der Strafverfolgung ausgenommen ist. Die Berichte können eine Zusammenfassung sein, damit sie mehr als einen Einsatz abdecken.

Die Mitgliedstaaten können im Einklang mit dem Unionsrecht strengere Rechtsvorschriften für die Verwendung von Systemen zur nachträglichen biometrischen Fernidentifizierung erlassen.

(11)   Unbeschadet des Artikels 50 der vorliegenden Verordnung informieren die Betreiber der in Anhang III aufgeführten Hochrisiko-KI-Systeme, die natürliche Personen betreffende Entscheidungen treffen oder bei solchen Entscheidungen Unterstützung leisten, die natürlichen Personen darüber, dass sie der Verwendung des Hochrisiko-KI-Systems unterliegen. Für Hochrisiko-KI-Systeme, die zu Strafverfolgungszwecken verwendet werden, gilt Artikel 13 der Richtlinie (EU) 2016/680.

(12)   Die Betreiber arbeiten mit den zuständigen Behörden bei allen Maßnahmen zusammen, die diese Behörden im Zusammenhang mit dem Hochrisiko-KI-System zur Umsetzung dieser Verordnung ergreifen.