Testování vysoce rizikových systémů AI v reálných podmínkách mimo regulační sandboxy pro AI
Čeština
1. Poskytovatelé nebo potenciální poskytovatelé vysoce rizikových systémů AI uvedených v příloze III, nebo vysoce rizikových systémů AI, na které se vztahují harmonizační právní předpisy Unie uvedené v příloze I oddíle A, mohou provádět testování vysoce rizikových systémů AI v reálných podmínkách mimo regulační sandboxy pro AI v souladu s tímto článkem a plánem testování v reálných podmínkách uvedeným v tomto článku, aniž jsou dotčeny zákazy podle článku 5.
Komise v prováděcích aktech upřesní podrobné prvky plánu testování v reálných podmínkách. Tyti prováděcí akty budou přijaty přezkumným postupem podle čl. 98 odst. 2.
Tímto odstavcem není dotčeno právo Unie ani vnitrostátní právo týkající se testování vysoce rizikových systémů AI v reálných podmínkách v souvislosti s produkty, na něž se vztahují harmonizační právní předpisy uvedené v příloze I.
2. Poskytovatelé nebo potenciální poskytovatelé mohou provádět testování vysoce rizikových systémů AI uvedených v příloze III, nebo vysoce rizikových systémů AI, na které se vztahují harmonizační právní předpisy Unie uvedené v příloze I oddíle A, v reálných podmínkách kdykoli před uvedením vysoce rizikového systému AI na trh nebo do provozu, a to samostatně nebo v partnerství s jedním nebo více zavádějícími subjekty nebo potenciálními zavádějícími subjekty.
3. Testováním vysoce rizikových systémů AI v reálných podmínkách podle tohoto článku není dotčen žádný etický přezkum, který je vyžadován právem Unie nebo vnitrostátním právem.
4. Poskytovatelé nebo potenciální poskytovatelé mohou provádět testování v reálných podmínkách pouze v případě, že jsou splněny všechny tyto podmínky:
a) |
poskytovatel nebo potenciální poskytovatel vypracoval plán testování v reálných podmínkách a předložil jej orgánu dozoru nad trhem v členském státě, v němž má být testování v reálných podmínkách provedeno; |
b) |
vnitrostátní orgán dozoru nad trhem v členském státě, v němž se testování v reálných podmínkách má provést, testování v reálných podmínkách a plán testování v reálných podmínkách schválil; pokud orgán dozoru nad trhem neposkytne odpověď do 30 dnů, testování v reálných podmínkách a plán zkoušek v reálných podmínkách se považují za schválené; nestanoví-li vnitrostátní právo implicitní schválení, testování v reálných podmínkách nadále podléhá povolení; |
c) |
poskytovatel nebo potenciální poskytovatel, s výjimkou poskytovatelů nebo potenciálních poskytovatelů vysoce rizikových systémů AI uvedených v bodech 1, 6 a 7 přílohy III v oblasti vymáhání práva, migrace, azylu a řízení ochrany hranic a vysoce rizikových systémů AI uvedených v bodě 2 přílohy III, zaregistroval testování v reálných podmínkách v souladu s čl. 71 odst. 4 s uvedením celounijního jedinečného identifikačního čísla a informací stanovených v příloze IX; poskytovatel nebo potenciální poskytovatel vysoce rizikových systémů AI uvedených v bodech 1, 6 a 7 přílohy III v oblasti vymáhání práva, migrace, azylu a řízení ochrany hranic zaregistroval testování v reálných podmínkách v zabezpečené, neveřejné části databáze EU podle čl. 49 odst. 4 písm. d) s celounijním jedinečným identifikačním číslem a informacemi v tomto článku uvedenými; poskytovatel nebo potenciální poskytovatel vysoce rizikových systémů AI uvedený v bodě 2 přílohy III zaregistroval testování v reálných podmínkách v souladu s čl. 49 odst. 5; |
d) |
poskytovatel nebo potenciální poskytovatel provádějící testování v reálných podmínkách je usazen v Unii nebo jmenoval právního zástupce, který je usazen v Unii; |
e) |
údaje shromážděné a zpracované pro účely testování v reálných podmínkách se předávají třetím zemím pouze za předpokladu, že jsou uplatňovány vhodné a použitelné záruky podle práva Unie; |
f) |
testování v reálných podmínkách netrvá déle, než je nezbytné k dosažení jeho cílů, a v žádném případě ne déle než šest měsíců, přičemž tato doba může být prodloužena o dalších šest měsíců, pokud poskytovatel nebo potenciální poskytovatel toto prodloužení předem oznámí orgánu dozoru nad trhem spolu s vysvětlením, proč je ho zapotřebí; |
g) |
subjekty testování v reálných podmínkách, které vzhledem ke svému věku nebo postižení spadají do zranitelných skupin, jsou náležitě chráněny; |
h) |
pokud poskytovatel nebo potenciální poskytovatel uspořádá testování v reálných podmínkách ve spolupráci s jedním nebo více zavádějícími subjekty či potenciálními zavádějícími subjekty, tyto subjekty byly informovány o všech aspektech testování, které jsou relevantní pro jejich rozhodnutí účastnit se, a obdrželi příslušné pokyny pro použití systému AI uvedeného v článku 13; poskytovatel nebo potenciální poskytovatel a zavádějící subjekt nebo potenciální zavádějící subjekt uzavřou dohodu, v níž upřesní své úlohy a povinnosti s cílem zajistit soulad s ustanoveními týkajícími se testování v reálných podmínkách podle tohoto nařízení a jiným platným právem Unie a vnitrostátním právem; |
i) |
subjekty testování v reálných podmínkách udělily informovaný souhlas v souladu s článkem 61, nebo pokud by v případě vymáhání práva získání informovaného souhlasu testování systému AI bránilo, samotné testování a výsledek testování v reálných podmínkách nemají na subjekty hodnocení žádný negativní dopad a osobní údaje těchto subjektů jsou po provedení testu vymazány; |
j) |
na testování v reálných podmínkách účinně dohlíží poskytovatel nebo potenciální poskytovatel, jakož i zavádějící subjekty nebo potenciální zavádějící subjekty prostřednictvím osob, které mají jak odpovídající kvalifikaci v příslušné oblasti, tak nezbytnou kapacitu, odbornou přípravu a pravomoc k plnění svých úkolů; |
k) |
predikce, doporučení nebo rozhodnutí systému AI lze účinně zvrátit a nezohlednit. |
5. Kterékoli subjekty testování v reálných podmínkách nebo případně jejich zákonně ustanovený zástupce může odvoláním svého informovaného souhlasu od testování kdykoli odstoupit, aniž by tím došel jakékoliv újmy a aniž by byl povinen poskytnout jakékoliv odůvodnění, a může požádat o okamžité a trvalé vymazání svých osobních údajů. Odvoláním informovaného souhlasu nejsou dotčeny již provedené činnosti.
6. V souladu s článkem 75 svěří členské státy svým orgánům dozoru nad trhem pravomoci požadovat od poskytovatelů a potenciálních poskytovatelů informace, provádět neohlášené kontroly na dálku nebo kontroly na místě a provádět kontroly postupu testování v reálných podmínkách a souvisejících vysoce rizikových systémů AI. Orgány dozoru nad trhem využijí těchto pravomocí k zajištění bezpečného vývoje testování v reálných podmínkách.
7. Veškeré závažné incidenty zjištěné v průběhu testování v reálných podmínkách se oznámí vnitrostátnímu orgánu dozoru nad trhem v souladu s článkem 73. Poskytovatel nebo potenciální poskytovatel přijme okamžitá zmírňující opatření nebo, pokud to není možné, testování v reálných podmínkách pozastaví, dokud k tomuto zmírnění nedojde, nebo testování jiným způsobem ukončí. Po takovém ukončení testování v reálných podmínkách stanoví poskytovatel nebo potenciální poskytovatel postup pro okamžité stažení systému AI z oběhu.
8. Poskytovatelé nebo potenciální poskytovatelé oznámí vnitrostátnímu orgánu dozoru nad trhem v členském státě, v němž se testování v reálných podmínkách provádí, že testování v reálných podmínkách bylo pozastaveno nebo ukončeno, a jaké jsou konečné výsledky.
9. Podle platného práva Unie a vnitrostátního práva upravujícího odpovědnost nesou poskytovatel nebo potenciální poskytovatel odpovědnost za veškeré škody, jež byly v průběhu jejich testování v reálných podmínkách způsobeny.
Deutsch
(1) Tests von Hochrisiko-KI-Systemen unter Realbedingungen können von Anbietern oder zukünftigen Anbietern von Hochrisiko-KI-Systemen, die in Anhang III genannt sind oder unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, außerhalb von KI-Reallaboren gemäß diesem Artikel und — unbeschadet der Bestimmungen unter Artikel 5 — dem in diesem Artikel genannten Plan für einen Test unter Realbedingungen durchgeführt werden.
Die Kommission legt die einzelnen Elemente des Plans für einen Test unter Realbedingungen im Wege von Durchführungsrechtsakten fest. Diese Durchführungsrechtsakte werden gemäß dem in Artikel 98 Absatz 2 genannten Prüfverfahren erlassen.
Das Unionsrecht oder nationale Recht für das Testen von Hochrisiko-KI-Systemen unter Realbedingungen im Zusammenhang mit Produkten, die unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, bleibt von dieser Bestimmung unberührt.
(2) Anbieter oder zukünftige Anbieter können Hochrisiko-KI-Systeme, die in Anhang III genannt sind oder unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, vor deren Inverkehrbringen oder Inbetriebnahme jederzeit selbst oder in Partnerschaft mit einem oder mehreren Betreibern oder zukünftigen Betreibern unter Realbedingungen testen.
(3) Tests von KI-Systemen unter Realbedingungen gemäß diesem Artikel lassen nach dem Unionsrecht oder dem nationalen Recht gegebenenfalls vorgeschriebene Ethikprüfungen unberührt.
(4) Tests unter Realbedingungen dürfen von Anbietern oder zukünftigen Anbietern nur durchgeführt werden, wenn alle der folgenden Bedingungen erfüllt sind:
a) |
Der Anbieter oder der zukünftige Anbieter hat einen Plan für einen Test unter Realbedingungen erstellt und diesen bei der Marktüberwachungsbehörde in dem Mitgliedstaat eingereicht, in dem der Test unter Realbedingungen stattfinden soll; |
b) |
die Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfinden soll, hat den Test unter Realbedingungen und den Plan für einen Test unter Realbedingungen genehmigt; hat die Marktüberwachungsbehörde innerhalb von 30 Tagen keine Antwort gegeben, so gelten der Test unter Realbedingungen und der Plan für einen Test unter Realbedingungen als genehmigt; ist im nationalen Recht keine stillschweigende Genehmigung vorgesehen, so bleibt der Test unter Realbedingungen genehmigungspflichtig; |
c) |
der Anbieter oder zukünftige Anbieter, mit Ausnahme der in Anhang III Nummern 1, 6 und 7 genannten Anbieter oder zukünftigen Anbieter von Hochrisiko-KI-Systemen in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle und der in Anhang III Nummer 2 genannten Hochrisiko-KI-Systeme, hat den Test unter Realbedingungen unter Angabe einer unionsweit einmaligen Identifizierungsnummer und der in Anhang IX festgelegten Informationen gemäß Artikel 71 Absatz 4 registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummern 1, 6 und 7 in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement hat die Tests unter Realbedingungen im sicheren nicht öffentlichen Teil der EU-Datenbank gemäß Artikel 49 Absatz 4 Buchstabe d mit einer unionsweit einmaligen Identifizierungsnummer und den darin festgelegten Informationen registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 2 hat die Tests unter Realbedingungen gemäß Artikel 49 Absatz 5 registriert; |
d) |
der Anbieter oder der zukünftige Anbieter, der den Test unter Realbedingungen durchführt, ist in der Union niedergelassen oder hat einen in der Union niedergelassenen gesetzlichen Vertreter bestellt; |
e) |
die für die Zwecke des Tests unter Realbedingungen erhobenen und verarbeiteten Daten werden nur dann an Drittländer übermittelt, wenn gemäß Unionsrecht geeignete und anwendbare Schutzvorkehrungen greifen; |
f) |
der Test unter Realbedingungen dauert nicht länger als zur Erfüllung seiner Zielsetzungen nötig und in keinem Fall länger als sechs Monate; dieser Zeitraum kann um weitere sechs Monate verlängert werden, sofern der Anbieter oder der zukünftige Anbieter die Marktüberwachungsbehörde davon vorab in Kenntnis setzt und erläutert, warum eine solche Verlängerung erforderlich ist; |
g) |
Testteilnehmer im Rahmen von Tests unter Realbedingungen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, sind angemessen geschützt; |
h) |
wenn ein Anbieter oder zukünftiger Anbieter den Test unter Realbedingungen in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern organisiert, werden Letztere vorab über alle für ihre Teilnahmeentscheidung relevanten Aspekte des Tests informiert und erhalten die einschlägigen in Artikel 13 genannten Betriebsanleitungen für das KI-System; der Anbieter oder zukünftige Anbieter und der Betreiber oder zukünftige Betreiber schließen eine Vereinbarung, in der ihre Aufgaben und Zuständigkeiten festgelegt sind, um für die Einhaltung der nach dieser Verordnung und anderem Unionsrecht und nationalem Recht für Tests unter Realbedingungen geltenden Bestimmungen zu sorgen; |
i) |
die Testteilnehmer im Rahmen von Tests unter Realbedingungen erteilen ihre informierte Einwilligung gemäß Artikel 61, oder, wenn im Fall der Strafverfolgung die Einholung einer informierten Einwilligung den Test des KI-Systems verhindern würde, dürfen sich der Test und die Ergebnisse des Tests unter Realbedingungen nicht negativ auf die Testteilnehmer auswirken und ihre personenbezogenen Daten werden nach Durchführung des Tests gelöscht; |
j) |
der Anbieter oder zukünftige Anbieter und die Betreiber und zukünftigen Betreiber lassen den Test unter Realbedingungen von Personen wirksam überwachen, die auf dem betreffenden Gebiet angemessen qualifiziert sind und über die Fähigkeit, Ausbildung und Befugnis verfügen, die für die Wahrnehmung ihrer Aufgaben erforderlich sind; |
k) |
die Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems können effektiv rückgängig gemacht und außer Acht gelassen werden. |
(5) Jeder Testteilnehmer bezüglich des Tests unter Realbedingungen oder gegebenenfalls dessen gesetzlicher Vertreter kann seine Teilnahme an dem Test jederzeit durch Widerruf seiner informierten Einwilligung beenden und die unverzügliche und dauerhafte Löschung seiner personenbezogenen Daten verlangen, ohne dass ihm daraus Nachteile entstehen und er dies in irgendeiner Weise begründen müsste. Der Widerruf der informierten Einwilligung wirkt sich nicht auf bereits durchgeführte Tätigkeiten aus.
(6) Im Einklang mit Artikel 75 übertragen die Mitgliedstaaten ihren Marktüberwachungsbehörden die Befugnis, Anbieter und zukünftige Anbieter zur Bereitstellung von Informationen zu verpflichten, unangekündigte Ferninspektionen oder Vor-Ort-Inspektionen durchzuführen und die Durchführung der Tests unter Realbedingungen und damit zusammenhängende Hochrisiko-KI-Systeme zu prüfen. Die Marktüberwachungsbehörden nutzen diese Befugnisse, um für die sichere Entwicklung von Tests unter Realbedingungen zu sorgen.
(7) Jegliche schwerwiegenden Vorfälle im Verlauf des Tests unter Realbedingungen sind den nationalen Marktüberwachungsbehörden gemäß Artikel 73 zu melden. Der Anbieter oder zukünftige Anbieter trifft Sofortmaßnahmen zur Schadensbegrenzung; andernfalls setzt er den Test unter Realbedingungen so lange aus, bis eine Schadensbegrenzung stattgefunden hat, oder bricht ihn ab. Im Fall eines solchen Abbruchs des Tests unter Realbedingungen richtet der Anbieter oder zukünftige Anbieter ein Verfahren für den sofortigen Rückruf des KI-Systems ein.
(8) Anbieter oder zukünftige Anbieter setzen die nationalen Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfindet, über die Aussetzung oder den Abbruch des Tests unter Realbedingungen und die Endergebnisse in Kenntnis.
(9) Anbieter oder zukünftige Anbieter sind nach geltendem Recht der Union und geltendem nationalen Recht für Schäden haftbar, die während ihrer Tests unter Realbedingungen entstehen.