Tests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren
Deutsch
(1) Tests von Hochrisiko-KI-Systemen unter Realbedingungen können von Anbietern oder zukünftigen Anbietern von Hochrisiko-KI-Systemen, die in Anhang III genannt sind oder unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, außerhalb von KI-Reallaboren gemäß diesem Artikel und — unbeschadet der Bestimmungen unter Artikel 5 — dem in diesem Artikel genannten Plan für einen Test unter Realbedingungen durchgeführt werden.
Die Kommission legt die einzelnen Elemente des Plans für einen Test unter Realbedingungen im Wege von Durchführungsrechtsakten fest. Diese Durchführungsrechtsakte werden gemäß dem in Artikel 98 Absatz 2 genannten Prüfverfahren erlassen.
Das Unionsrecht oder nationale Recht für das Testen von Hochrisiko-KI-Systemen unter Realbedingungen im Zusammenhang mit Produkten, die unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, bleibt von dieser Bestimmung unberührt.
(2) Anbieter oder zukünftige Anbieter können Hochrisiko-KI-Systeme, die in Anhang III genannt sind oder unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, vor deren Inverkehrbringen oder Inbetriebnahme jederzeit selbst oder in Partnerschaft mit einem oder mehreren Betreibern oder zukünftigen Betreibern unter Realbedingungen testen.
(3) Tests von KI-Systemen unter Realbedingungen gemäß diesem Artikel lassen nach dem Unionsrecht oder dem nationalen Recht gegebenenfalls vorgeschriebene Ethikprüfungen unberührt.
(4) Tests unter Realbedingungen dürfen von Anbietern oder zukünftigen Anbietern nur durchgeführt werden, wenn alle der folgenden Bedingungen erfüllt sind:
a) |
Der Anbieter oder der zukünftige Anbieter hat einen Plan für einen Test unter Realbedingungen erstellt und diesen bei der Marktüberwachungsbehörde in dem Mitgliedstaat eingereicht, in dem der Test unter Realbedingungen stattfinden soll; |
b) |
die Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfinden soll, hat den Test unter Realbedingungen und den Plan für einen Test unter Realbedingungen genehmigt; hat die Marktüberwachungsbehörde innerhalb von 30 Tagen keine Antwort gegeben, so gelten der Test unter Realbedingungen und der Plan für einen Test unter Realbedingungen als genehmigt; ist im nationalen Recht keine stillschweigende Genehmigung vorgesehen, so bleibt der Test unter Realbedingungen genehmigungspflichtig; |
c) |
der Anbieter oder zukünftige Anbieter, mit Ausnahme der in Anhang III Nummern 1, 6 und 7 genannten Anbieter oder zukünftigen Anbieter von Hochrisiko-KI-Systemen in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle und der in Anhang III Nummer 2 genannten Hochrisiko-KI-Systeme, hat den Test unter Realbedingungen unter Angabe einer unionsweit einmaligen Identifizierungsnummer und der in Anhang IX festgelegten Informationen gemäß Artikel 71 Absatz 4 registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummern 1, 6 und 7 in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement hat die Tests unter Realbedingungen im sicheren nicht öffentlichen Teil der EU-Datenbank gemäß Artikel 49 Absatz 4 Buchstabe d mit einer unionsweit einmaligen Identifizierungsnummer und den darin festgelegten Informationen registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 2 hat die Tests unter Realbedingungen gemäß Artikel 49 Absatz 5 registriert; |
d) |
der Anbieter oder der zukünftige Anbieter, der den Test unter Realbedingungen durchführt, ist in der Union niedergelassen oder hat einen in der Union niedergelassenen gesetzlichen Vertreter bestellt; |
e) |
die für die Zwecke des Tests unter Realbedingungen erhobenen und verarbeiteten Daten werden nur dann an Drittländer übermittelt, wenn gemäß Unionsrecht geeignete und anwendbare Schutzvorkehrungen greifen; |
f) |
der Test unter Realbedingungen dauert nicht länger als zur Erfüllung seiner Zielsetzungen nötig und in keinem Fall länger als sechs Monate; dieser Zeitraum kann um weitere sechs Monate verlängert werden, sofern der Anbieter oder der zukünftige Anbieter die Marktüberwachungsbehörde davon vorab in Kenntnis setzt und erläutert, warum eine solche Verlängerung erforderlich ist; |
g) |
Testteilnehmer im Rahmen von Tests unter Realbedingungen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, sind angemessen geschützt; |
h) |
wenn ein Anbieter oder zukünftiger Anbieter den Test unter Realbedingungen in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern organisiert, werden Letztere vorab über alle für ihre Teilnahmeentscheidung relevanten Aspekte des Tests informiert und erhalten die einschlägigen in Artikel 13 genannten Betriebsanleitungen für das KI-System; der Anbieter oder zukünftige Anbieter und der Betreiber oder zukünftige Betreiber schließen eine Vereinbarung, in der ihre Aufgaben und Zuständigkeiten festgelegt sind, um für die Einhaltung der nach dieser Verordnung und anderem Unionsrecht und nationalem Recht für Tests unter Realbedingungen geltenden Bestimmungen zu sorgen; |
i) |
die Testteilnehmer im Rahmen von Tests unter Realbedingungen erteilen ihre informierte Einwilligung gemäß Artikel 61, oder, wenn im Fall der Strafverfolgung die Einholung einer informierten Einwilligung den Test des KI-Systems verhindern würde, dürfen sich der Test und die Ergebnisse des Tests unter Realbedingungen nicht negativ auf die Testteilnehmer auswirken und ihre personenbezogenen Daten werden nach Durchführung des Tests gelöscht; |
j) |
der Anbieter oder zukünftige Anbieter und die Betreiber und zukünftigen Betreiber lassen den Test unter Realbedingungen von Personen wirksam überwachen, die auf dem betreffenden Gebiet angemessen qualifiziert sind und über die Fähigkeit, Ausbildung und Befugnis verfügen, die für die Wahrnehmung ihrer Aufgaben erforderlich sind; |
k) |
die Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems können effektiv rückgängig gemacht und außer Acht gelassen werden. |
(5) Jeder Testteilnehmer bezüglich des Tests unter Realbedingungen oder gegebenenfalls dessen gesetzlicher Vertreter kann seine Teilnahme an dem Test jederzeit durch Widerruf seiner informierten Einwilligung beenden und die unverzügliche und dauerhafte Löschung seiner personenbezogenen Daten verlangen, ohne dass ihm daraus Nachteile entstehen und er dies in irgendeiner Weise begründen müsste. Der Widerruf der informierten Einwilligung wirkt sich nicht auf bereits durchgeführte Tätigkeiten aus.
(6) Im Einklang mit Artikel 75 übertragen die Mitgliedstaaten ihren Marktüberwachungsbehörden die Befugnis, Anbieter und zukünftige Anbieter zur Bereitstellung von Informationen zu verpflichten, unangekündigte Ferninspektionen oder Vor-Ort-Inspektionen durchzuführen und die Durchführung der Tests unter Realbedingungen und damit zusammenhängende Hochrisiko-KI-Systeme zu prüfen. Die Marktüberwachungsbehörden nutzen diese Befugnisse, um für die sichere Entwicklung von Tests unter Realbedingungen zu sorgen.
(7) Jegliche schwerwiegenden Vorfälle im Verlauf des Tests unter Realbedingungen sind den nationalen Marktüberwachungsbehörden gemäß Artikel 73 zu melden. Der Anbieter oder zukünftige Anbieter trifft Sofortmaßnahmen zur Schadensbegrenzung; andernfalls setzt er den Test unter Realbedingungen so lange aus, bis eine Schadensbegrenzung stattgefunden hat, oder bricht ihn ab. Im Fall eines solchen Abbruchs des Tests unter Realbedingungen richtet der Anbieter oder zukünftige Anbieter ein Verfahren für den sofortigen Rückruf des KI-Systems ein.
(8) Anbieter oder zukünftige Anbieter setzen die nationalen Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfindet, über die Aussetzung oder den Abbruch des Tests unter Realbedingungen und die Endergebnisse in Kenntnis.
(9) Anbieter oder zukünftige Anbieter sind nach geltendem Recht der Union und geltendem nationalen Recht für Schäden haftbar, die während ihrer Tests unter Realbedingungen entstehen.
Slovenčina
1. Poskytovatelia alebo potenciálni poskytovatelia vysokorizikových systémov AI, ktoré sú uvedené v prílohe III alebo na ktoré sa vzťahujú harmonizačné právne predpisy Únie uvedené v oddiele A prílohy I, môžu vykonávať testovanie vysokorizikových systémov AI v reálnych podmienkach mimo regulačných experimentálnych prostredí pre AI v súlade s týmto článkom a plánom testovania v reálnych podmienkach uvedeným v tomto článku bez toho, aby boli dotknuté zákazy podľa článku 5.
Komisia prostredníctvom vykonávacích aktov stanoví podrobné prvky plánu testovania v reálnych podmienkach. Uvedené vykonávacie akty sa prijmú v súlade s postupom preskúmania uvedeným v článku 98 ods. 2.
Týmto odsekom nie je dotknuté právo Únie ani vnútroštátne právo týkajúce sa testovania v reálnych podmienkach, pokiaľ ide o vysokorizikové systémy AI súvisiace s výrobkami, na ktoré sa vzťahujú harmonizačné právne predpisy Únie uvedené v prílohe I.
2. Poskytovatelia alebo potenciálni poskytovatelia môžu vykonávať testovanie vysokorizikových systémov AI, ktoré sú uvedené v prílohe III alebo na ktoré sa vzťahujú harmonizačné právne predpisy Únie uvedené v oddiele A prílohy I, v reálnych podmienkach kedykoľvek pred uvedením vysokorizikového systému AI na trh alebo do prevádzky samostatne alebo v partnerstve s jedným alebo viacerými nasadzujúcimi subjektmi alebo potenciálnymi nasadzujúcimi subjektmi.
3. Testovaním vysokorizikových systémov AI v reálnych podmienkach podľa tohto článku nie je dotknuté etické preskúmanie, ktoré sa vyžaduje podľa práva Únie alebo vnútroštátneho práva.
4. Poskytovatelia alebo potenciálni poskytovatelia môžu vykonávať testovanie v reálnych podmienkach, len ak sú splnené všetky tieto podmienky:
a) |
poskytovateľ alebo potenciálny poskytovateľ vypracoval plán testovania v reálnych podmienkach a predložil ho orgánu dohľadu nad trhom v členskom štáte, v ktorom sa má testovanie v reálnych podmienkach vykonať; |
b) |
orgán dohľadu nad trhom v členskom štáte, v ktorom sa má testovanie v reálnych podmienkach vykonať, schválil testovanie v reálnych podmienkach a plán testovania v reálnych podmienkach; ak orgán dohľadu nad trhom neposkytol odpoveď do 30 dní, testovanie v reálnych podmienkach a plán testovania v reálnych podmienkach sa považujú za schválené; ak sa vo vnútroštátnom práve nestanovuje konkludentný súhlas, testovanie v reálnych podmienkach podlieha povoleniu; |
c) |
poskytovateľ alebo potenciálny poskytovateľ s výnimkou poskytovateľov alebo potenciálnych poskytovateľov vysokorizikových systémov AI uvedených v prílohe III bodoch 1, 6 a 7 v oblastiach presadzovania práva, migrácie, azylu a riadenia kontroly hraníc a vysokorizikových systémov AI uvedených v prílohe III bode 2 zaregistroval testovanie v reálnych podmienkach v súlade s článkom 71 ods. 4 s jedinečným jednotným identifikačným číslom pre celú Úniu a s informáciami uvedenými v prílohe IX; poskytovateľ alebo potenciálny poskytovateľ vysokorizikových systémov AI uvedených v prílohe III bodoch 1, 6 a 7 v oblastiach presadzovania práva, migrácie, azylu a riadenia kontroly hraníc zaregistroval testovanie v reálnych podmienkach v neverejnej časti databázy Únie podľa článku 49 ods. 4 písm. d) s jedinečným jednotným identifikačným číslom pre celú Úniu a s informáciami v ňom uvedenými; poskytovateľ alebo potenciálny poskytovateľ vysokorizikových systémov AI uvedených v prílohe III bode 2 zaregistroval testovanie v reálnych podmienkach v súlade s článkom 49 ods. 5; |
d) |
poskytovateľ alebo potenciálny poskytovateľ vykonávajúci testovanie v reálnych podmienkach je usadený v Únii alebo vymenoval právneho zástupcu, ktorý je usadený v Únii; |
e) |
údaje zozbierané a spracúvané na účely testovania v reálnych podmienkach sa prenášajú do tretích krajín len za predpokladu, že sa implementujú primerané a uplatniteľné záruky podľa práva Únie; |
f) |
testovanie v reálnych podmienkach netrvá dlhšie, ako je potrebné na dosiahnutie jeho cieľov, a v žiadnom prípade nie dlhšie ako šesť mesiacov, ktoré možno predĺžiť o ďalších šesť mesiacov, ak o tom poskytovateľ alebo potenciálny poskytovateľ vopred informoval orgán dohľadu nad trhom spolu s vysvetlením potreby takéhoto predĺženia; |
g) |
účastníci testovania v reálnych podmienkach, ktorí sú osobami patriacimi do zraniteľných skupín z dôvodu ich veku alebo zdravotného postihnutia, sú primerane chránení; |
h) |
ak poskytovateľ alebo potenciálny poskytovateľ organizuje testovanie v reálnych podmienkach v spolupráci s jedným alebo viacerými nasadzujúcimi subjektmi alebo potenciálnymi nasadzujúcimi subjektmi, poskytnú sa takýmto subjektom informácie o všetkých aspektoch testovania, ktoré sú relevantné pre ich rozhodnutie zúčastniť sa, ako aj príslušný návod na použitie systému AI uvedený v článku 13; poskytovateľ alebo potenciálny poskytovateľ a nasadzujúci subjekt alebo potenciálny nasadzujúci subjekt uzavrú dohodu, v ktorej sa stanovia ich úlohy a povinnosti s cieľom zabezpečiť súlad s ustanoveniami o testovaní v reálnych podmienkach podľa tohto nariadenia a iného uplatniteľného práva Únie a vnútroštátneho práva; |
i) |
účastníci testovania v reálnych podmienkach poskytli informovaný súhlas v súlade s článkom 61 alebo, v prípade presadzovania práva, ak by získanie informovaného súhlasu bránilo testovaniu systému AI, samotné testovanie a výsledok testovania v reálnych podmienkach nesmú mať žiaden negatívny vplyv na účastníkov a osobné údaje účastníkov sa po vykonaní testovania vymažú; |
j) |
na testovanie v reálnych podmienkach účinne dohliada poskytovateľ alebo potenciálny poskytovateľ a nasadzujúce subjekty alebo potenciálne nasadzujúce subjekty prostredníctvom osôb, ktoré sú primerane kvalifikované v príslušnej oblasti a majú potrebnú kapacitu, odbornú prípravu a právomoc na vykonávanie svojich úloh; |
k) |
predpovede, odporúčania alebo rozhodnutia systému AI možno účinne zvrátiť a nezohľadniť. |
5. Ktorýkoľvek účastník testovania v reálnych podmienkach alebo v relevantnom prípade jeho zákonne určený zástupca, sa môže kedykoľvek stiahnuť z testovania odvolaním svojho informovaného súhlasu bez akejkoľvek následnej ujmy a bez toho, aby musel poskytnúť akékoľvek odôvodnenie, a požiadať o bezodkladné a trvalé vymazanie svojich osobných údajov. Odvolanie informovaného súhlasu nemá vplyv na činnosti, ktoré už boli vykonané.
6. V súlade s článkom 75 členské štáty prenesú na svoje orgány dohľadu nad trhom právomoc požadovať informácie od poskytovateľov a potenciálnych poskytovateľov, vykonávať neohlásené kontroly na diaľku alebo na mieste a vykonávať kontroly vykonávania testovania v reálnych podmienkach a súvisiacich vysokorizikových systémov AI. Orgány dohľadu nad trhom využívajú túto právomoc na zaistenie bezpečného vývoja testovania v reálnych podmienkach.
7. Každý závažný incident zistený počas testovania v reálnych podmienkach sa oznamuje vnútroštátnemu orgánu dohľadu nad trhom v súlade s článkom 73. Poskytovateľ alebo potenciálny poskytovateľ prijme okamžité opatrenia na zmiernenie dôsledkov incidentu, alebo ak to nie je možné, pozastaví testovanie v reálnych podmienkach dovtedy, kým nedôjde k takémuto zmierneniu, alebo ho v opačnom prípade ukončí. Poskytovateľ alebo potenciálny poskytovateľ stanoví postup rýchleho stiahnutia systému AI od používateľa pri takomto ukončení testovania v reálnych podmienkach.
8. Poskytovatelia alebo potenciálni poskytovatelia informujú vnútroštátny orgán dohľadu nad trhom v členskom štáte, v ktorom sa vykonáva testovanie v reálnych podmienkach, o pozastavení alebo ukončení testovania v reálnych podmienkach a o konečných výsledkoch.
9. Poskytovateľ alebo potenciálny poskytovateľ je zodpovedný za všetky škody, ktoré vzniknú počas testovania v reálnych podmienkach, podľa uplatniteľného práva Únie a vnútroštátneho práva v oblasti zodpovednosti.