Testy systemów AI wysokiego ryzyka w warunkach rzeczywistych poza piaskownicami regulacyjnymi w zakresie AI
Polski
1. Testy systemów AI wysokiego ryzyka w warunkach rzeczywistych prowadzone poza piaskownicami regulacyjnymi w zakresie AI mogą być przeprowadzane przez dostawców lub potencjalnych dostawców systemów AI wysokiego ryzyka wymienionych w załączniku III lub objętych unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I sekcja A, zgodnie z niniejszym artykułem i planem testów w warunkach rzeczywistych, o którym mowa w niniejszym artykule, bez uszczerbku dla zakazów przewidzianych w art. 5.
Komisja określa w drodze aktów wykonawczych szczegółowe elementy planu testów w warunkach rzeczywistych. Te akty wykonawcze przyjmuje się zgodnie z procedurą sprawdzającą, o której mowa w art. 98 ust. 2.
Niniejszy ustęp pozostaje bez uszczerbku dla przepisów prawa Unii lub prawa krajowego dotyczących testów w warunkach rzeczywistych systemów AI wysokiego ryzyka powiązanych z produktami objętymi unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I.
2. Dostawcy lub potencjalni dostawcy mogą przeprowadzać testy systemów AI wysokiego ryzyka, o których mowa w załączniku III lub które objęte są unijnym prawodawstwem harmonizacyjnym wymienionym w załączniku I sekcja A, w warunkach rzeczywistych w dowolnym momencie przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku, samodzielnie lub we współpracy z co najmniej jednym podmiotem stosującym lub potencjalnym podmiotem stosującym.
3. Testy systemów AI wysokiego ryzyka w warunkach rzeczywistych przeprowadzane na podstawie niniejszego artykułu pozostają bez uszczerbku dla oceny etycznej wymaganej prawem Unii lub prawem unijnym.
4. Dostawcy lub potencjalni dostawcy mogą przeprowadzać testy w warunkach rzeczywistych tylko wtedy, gdy spełnione są wszystkie następujące warunki:
a) |
dostawca lub potencjalny dostawca sporządził plan testów w warunkach rzeczywistych i przedłożył go organowi nadzoru rynku w państwie członkowskim, w którym mają być przeprowadzane te testy; |
b) |
organ nadzoru rynku w państwie członkowskim, w którym mają być przeprowadzone testy w warunkach rzeczywistych, zatwierdził te testy w warunkach rzeczywistych i plan testów w warunkach rzeczywistych; w przypadku gdy organ nadzoru rynku nie udzielił odpowiedzi w terminie 30 dni, testy w warunkach rzeczywistych i plan testów w warunkach rzeczywistych uznaje się za zatwierdzone; w przypadku gdy prawo krajowe nie przewiduje milczącego zatwierdzenia, testy w warunkach rzeczywistych nadal wymagają uzyskania zezwolenia; |
c) |
dostawca lub potencjalny dostawca – z wyjątkiem dostawców lub potencjalnych dostawców systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1, 6 i 7, w obszarach ścigania przestępstw, zarządzania migracją, azylem i kontrolą graniczną, oraz systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 2 – zarejestrował testy w warunkach rzeczywistych zgodnie z art. 71 ust. 4 pod ogólnounijnym niepowtarzalnym numerem identyfikacyjnym, podając informacje określone w załączniku IX; dostawca lub potencjalny dostawca systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1, 6 i 7, w obszarach ścigania przestępstw, zarządzania migracją, azylem i kontrolą graniczną – zarejestrował testy w warunkach rzeczywistych w niepublicznej części bazy danych UE zgodnie z art. 49 ust. 4 lit. d), pod ogólnounijnym niepowtarzalnym numerem identyfikacyjnym, podając informacje określone w przywołanym przepisie; dostawca lub potencjalny dostawca systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 2, zarejestrował testy w warunkach rzeczywistych zgodnie z art. 49 ust. 5; |
d) |
dostawca lub potencjalny dostawca przeprowadzający testy w warunkach rzeczywistych ma siedzibę w Unii lub ustanowił przedstawiciela prawnego, który ma siedzibę w Unii; |
e) |
dane zebrane i przetwarzane do celów testów w warunkach rzeczywistych przekazuje się do państw trzecich wyłącznie pod warunkiem wdrożenia odpowiednich zabezpieczeń mających zastosowanie na podstawie prawa Unii; |
f) |
testy w warunkach rzeczywistych trwają nie dłużej, niż to konieczne do osiągnięcia ich celów, a w każdym razie nie dłużej niż sześć miesięcy, z możliwością przedłużenia o dodatkowy okres sześciu miesięcy, z zastrzeżeniem uprzedniego powiadomienia organu nadzoru rynku przez dostawcę lub potencjalnego dostawcę, wraz z uzasadnieniem konieczności takiego przedłużenia; |
g) |
uczestnicy testów w warunkach rzeczywistych, którzy z uwagi na swój wiek, niepełnosprawność są osobami, które należą do grup szczególnie wrażliwych lub są w odpowiednio chronieni; |
h) |
w przypadku gdy dostawca lub potencjalny dostawca organizuje testy w warunkach rzeczywistych we współpracy z jednym podmiotem stosującym lub potencjalnym podmiotem stosującym, podmiot stosujący lub potencjalny podmiot stosujący został poinformowany o wszystkich aspektach testów, które są istotne dla jego decyzji o uczestnictwie, oraz otrzymuje odpowiednie instrukcje obsługi systemu AI, o których mowa w art. 13; dostawca lub potencjalny dostawca oraz podmiot stosujący lub potencjalny podmiot stosujący zawierają umowę określającą ich role i zakres odpowiedzialności w celu zapewnienia zgodności z przepisami dotyczącymi testów w warunkach rzeczywistych na podstawie niniejszego rozporządzenia oraz na podstawie innego mającego zastosowanie prawa Unii i prawa krajowego; |
i) |
uczestnicy testów w warunkach rzeczywistych wyrazili świadomą zgodę zgodnie z art. 61 lub – w przypadku ścigania przestępstw – gdy uzyskanie świadomej zgody uniemożliwiłoby testy systemu AI, same testy w warunkach rzeczywistych oraz ich wynik nie mogą mieć negatywnego wpływu na uczestników testów, a ich dane osobowe musza zostać usunięte po przeprowadzeniu testów; |
j) |
testy w warunkach rzeczywistych są skutecznie nadzorowane przez dostawcę lub potencjalnego dostawcę i podmioty stosujące lub potencjalne podmioty stosujące przy udziale osób posiadających odpowiednie kwalifikacje w danej dziedzinie oraz zdolności, przygotowanie szkoleniowe i uprawnienia niezbędne do wykonywania ich zadań; |
k) |
predykcje, zalecenia lub decyzje systemu AI można skutecznie odwrócić i zignorować. |
5. Uczestnicy testów w warunkach rzeczywistych, lub, w stosownych przypadkach, ich wyznaczony zgodnie z prawem przedstawiciel mogą – bez konsekwencji i bez konieczności przedstawiania jakiegokolwiek uzasadnienia – zdecydować o wycofaniu się w dowolnym momencie z testów poprzez odwołanie świadomej zgody; mogą oni również zażądać natychmiastowego i trwałego usunięcia ich danych osobowych. Odwołanie świadomej zgody nie wpływa na już przeprowadzone działania.
6. Zgodnie z art. 75 państwa członkowskie powierzają swoim organom nadzoru rynku uprawnienia do zwracania się do dostawców i potencjalnych dostawców z wnioskiem o przedstawienie informacji, do przeprowadzania niezapowiedzianych zdalnych kontroli lub kontroli na miejscu oraz kontroli przeprowadzania testów w warunkach rzeczywistych i powiązanych systemów AI. Organy nadzoru rynku wykorzystują te uprawnienia do zapewnienia bezpiecznego rozwoju testów w warunkach rzeczywistych.
7. Każdy poważny incydent stwierdzony w trakcie testów w warunkach rzeczywistych zgłasza się krajowemu organowi nadzoru rynku zgodnie z art. 73. Dostawca lub potencjalny dostawca przyjmuje natychmiastowe środki zaradcze lub, w przypadku gdy jest to niemożliwe, zawiesza testy w warunkach rzeczywistych do czasu zaradzenia incydentowi albo też kończy testy. Dostawca lub potencjalny dostawca ustanawia procedurę szybkiego wycofania systemu AI z użytku po takim zakończeniu testów w warunkach rzeczywistych.
8. Dostawcy lub potencjalni dostawcy powiadamiają krajowy organ nadzoru rynku w państwie członkowskim, w którym prowadzone są testy w warunkach rzeczywistych, o zawieszeniu lub zakończeniu tych testów i o ostatecznych wynikach.
9. Dostawcy lub potencjalni dostawcy ponoszą, na podstawie mających zastosowanie przepisów prawa Unii i prawa krajowego dotyczących odpowiedzialności, odpowiedzialność za wszelkie szkody spowodowane w trakcie testów w warunkach rzeczywistych.
Deutsch
(1) Tests von Hochrisiko-KI-Systemen unter Realbedingungen können von Anbietern oder zukünftigen Anbietern von Hochrisiko-KI-Systemen, die in Anhang III genannt sind oder unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, außerhalb von KI-Reallaboren gemäß diesem Artikel und — unbeschadet der Bestimmungen unter Artikel 5 — dem in diesem Artikel genannten Plan für einen Test unter Realbedingungen durchgeführt werden.
Die Kommission legt die einzelnen Elemente des Plans für einen Test unter Realbedingungen im Wege von Durchführungsrechtsakten fest. Diese Durchführungsrechtsakte werden gemäß dem in Artikel 98 Absatz 2 genannten Prüfverfahren erlassen.
Das Unionsrecht oder nationale Recht für das Testen von Hochrisiko-KI-Systemen unter Realbedingungen im Zusammenhang mit Produkten, die unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, bleibt von dieser Bestimmung unberührt.
(2) Anbieter oder zukünftige Anbieter können Hochrisiko-KI-Systeme, die in Anhang III genannt sind oder unter die in Anhang I Abschnitt A aufgeführten Harmonisierungsrechtsvorschriften der Union fallen, vor deren Inverkehrbringen oder Inbetriebnahme jederzeit selbst oder in Partnerschaft mit einem oder mehreren Betreibern oder zukünftigen Betreibern unter Realbedingungen testen.
(3) Tests von KI-Systemen unter Realbedingungen gemäß diesem Artikel lassen nach dem Unionsrecht oder dem nationalen Recht gegebenenfalls vorgeschriebene Ethikprüfungen unberührt.
(4) Tests unter Realbedingungen dürfen von Anbietern oder zukünftigen Anbietern nur durchgeführt werden, wenn alle der folgenden Bedingungen erfüllt sind:
a) |
Der Anbieter oder der zukünftige Anbieter hat einen Plan für einen Test unter Realbedingungen erstellt und diesen bei der Marktüberwachungsbehörde in dem Mitgliedstaat eingereicht, in dem der Test unter Realbedingungen stattfinden soll; |
b) |
die Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfinden soll, hat den Test unter Realbedingungen und den Plan für einen Test unter Realbedingungen genehmigt; hat die Marktüberwachungsbehörde innerhalb von 30 Tagen keine Antwort gegeben, so gelten der Test unter Realbedingungen und der Plan für einen Test unter Realbedingungen als genehmigt; ist im nationalen Recht keine stillschweigende Genehmigung vorgesehen, so bleibt der Test unter Realbedingungen genehmigungspflichtig; |
c) |
der Anbieter oder zukünftige Anbieter, mit Ausnahme der in Anhang III Nummern 1, 6 und 7 genannten Anbieter oder zukünftigen Anbieter von Hochrisiko-KI-Systemen in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle und der in Anhang III Nummer 2 genannten Hochrisiko-KI-Systeme, hat den Test unter Realbedingungen unter Angabe einer unionsweit einmaligen Identifizierungsnummer und der in Anhang IX festgelegten Informationen gemäß Artikel 71 Absatz 4 registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummern 1, 6 und 7 in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement hat die Tests unter Realbedingungen im sicheren nicht öffentlichen Teil der EU-Datenbank gemäß Artikel 49 Absatz 4 Buchstabe d mit einer unionsweit einmaligen Identifizierungsnummer und den darin festgelegten Informationen registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 2 hat die Tests unter Realbedingungen gemäß Artikel 49 Absatz 5 registriert; |
d) |
der Anbieter oder der zukünftige Anbieter, der den Test unter Realbedingungen durchführt, ist in der Union niedergelassen oder hat einen in der Union niedergelassenen gesetzlichen Vertreter bestellt; |
e) |
die für die Zwecke des Tests unter Realbedingungen erhobenen und verarbeiteten Daten werden nur dann an Drittländer übermittelt, wenn gemäß Unionsrecht geeignete und anwendbare Schutzvorkehrungen greifen; |
f) |
der Test unter Realbedingungen dauert nicht länger als zur Erfüllung seiner Zielsetzungen nötig und in keinem Fall länger als sechs Monate; dieser Zeitraum kann um weitere sechs Monate verlängert werden, sofern der Anbieter oder der zukünftige Anbieter die Marktüberwachungsbehörde davon vorab in Kenntnis setzt und erläutert, warum eine solche Verlängerung erforderlich ist; |
g) |
Testteilnehmer im Rahmen von Tests unter Realbedingungen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, sind angemessen geschützt; |
h) |
wenn ein Anbieter oder zukünftiger Anbieter den Test unter Realbedingungen in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern organisiert, werden Letztere vorab über alle für ihre Teilnahmeentscheidung relevanten Aspekte des Tests informiert und erhalten die einschlägigen in Artikel 13 genannten Betriebsanleitungen für das KI-System; der Anbieter oder zukünftige Anbieter und der Betreiber oder zukünftige Betreiber schließen eine Vereinbarung, in der ihre Aufgaben und Zuständigkeiten festgelegt sind, um für die Einhaltung der nach dieser Verordnung und anderem Unionsrecht und nationalem Recht für Tests unter Realbedingungen geltenden Bestimmungen zu sorgen; |
i) |
die Testteilnehmer im Rahmen von Tests unter Realbedingungen erteilen ihre informierte Einwilligung gemäß Artikel 61, oder, wenn im Fall der Strafverfolgung die Einholung einer informierten Einwilligung den Test des KI-Systems verhindern würde, dürfen sich der Test und die Ergebnisse des Tests unter Realbedingungen nicht negativ auf die Testteilnehmer auswirken und ihre personenbezogenen Daten werden nach Durchführung des Tests gelöscht; |
j) |
der Anbieter oder zukünftige Anbieter und die Betreiber und zukünftigen Betreiber lassen den Test unter Realbedingungen von Personen wirksam überwachen, die auf dem betreffenden Gebiet angemessen qualifiziert sind und über die Fähigkeit, Ausbildung und Befugnis verfügen, die für die Wahrnehmung ihrer Aufgaben erforderlich sind; |
k) |
die Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems können effektiv rückgängig gemacht und außer Acht gelassen werden. |
(5) Jeder Testteilnehmer bezüglich des Tests unter Realbedingungen oder gegebenenfalls dessen gesetzlicher Vertreter kann seine Teilnahme an dem Test jederzeit durch Widerruf seiner informierten Einwilligung beenden und die unverzügliche und dauerhafte Löschung seiner personenbezogenen Daten verlangen, ohne dass ihm daraus Nachteile entstehen und er dies in irgendeiner Weise begründen müsste. Der Widerruf der informierten Einwilligung wirkt sich nicht auf bereits durchgeführte Tätigkeiten aus.
(6) Im Einklang mit Artikel 75 übertragen die Mitgliedstaaten ihren Marktüberwachungsbehörden die Befugnis, Anbieter und zukünftige Anbieter zur Bereitstellung von Informationen zu verpflichten, unangekündigte Ferninspektionen oder Vor-Ort-Inspektionen durchzuführen und die Durchführung der Tests unter Realbedingungen und damit zusammenhängende Hochrisiko-KI-Systeme zu prüfen. Die Marktüberwachungsbehörden nutzen diese Befugnisse, um für die sichere Entwicklung von Tests unter Realbedingungen zu sorgen.
(7) Jegliche schwerwiegenden Vorfälle im Verlauf des Tests unter Realbedingungen sind den nationalen Marktüberwachungsbehörden gemäß Artikel 73 zu melden. Der Anbieter oder zukünftige Anbieter trifft Sofortmaßnahmen zur Schadensbegrenzung; andernfalls setzt er den Test unter Realbedingungen so lange aus, bis eine Schadensbegrenzung stattgefunden hat, oder bricht ihn ab. Im Fall eines solchen Abbruchs des Tests unter Realbedingungen richtet der Anbieter oder zukünftige Anbieter ein Verfahren für den sofortigen Rückruf des KI-Systems ein.
(8) Anbieter oder zukünftige Anbieter setzen die nationalen Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfindet, über die Aussetzung oder den Abbruch des Tests unter Realbedingungen und die Endergebnisse in Kenntnis.
(9) Anbieter oder zukünftige Anbieter sind nach geltendem Recht der Union und geltendem nationalen Recht für Schäden haftbar, die während ihrer Tests unter Realbedingungen entstehen.