Testing of high-risk AI systems in real world conditions outside AI regulatory sandboxes

(a)

the provider or prospective provider has drawn up a real-world testing plan and submitted it to the market surveillance authority in the Member State where the testing in real world conditions is to be conducted;

(b)

the market surveillance authority in the Member State where the testing in real world conditions is to be conducted has approved the testing in real world conditions and the real-world testing plan; where the market surveillance authority has not provided an answer within 30 days, the testing in real world conditions and the real-world testing plan shall be understood to have been approved; where national law does not provide for a tacit approval, the testing in real world conditions shall remain subject to an authorisation;

(c)

the provider or prospective provider, with the exception of providers or prospective providers of high-risk AI systems referred to in points 1, 6 and 7 of Annex III in the areas of law enforcement, migration, asylum and border control management, and high-risk AI systems referred to in point 2 of Annex III has registered the testing in real world conditions in accordance with Article 71(4) with a Union-wide unique single identification number and with the information specified in Annex IX; the provider or prospective provider of high-risk AI systems referred to in points 1, 6 and 7 of Annex III in the areas of law enforcement, migration, asylum and border control management, has registered the testing in real-world conditions in the secure non-public section of the EU database according to Article 49(4), point (d), with a Union-wide unique single identification number and with the information specified therein; the provider or prospective provider of high-risk AI systems referred to in point 2 of Annex III has registered the testing in real-world conditions in accordance with Article 49(5);

(d)

the provider or prospective provider conducting the testing in real world conditions is established in the Union or has appointed a legal representative who is established in the Union;

(e)

data collected and processed for the purpose of the testing in real world conditions shall be transferred to third countries only provided that appropriate and applicable safeguards under Union law are implemented;

(f)

the testing in real world conditions does not last longer than necessary to achieve its objectives and in any case not longer than six months, which may be extended for an additional period of six months, subject to prior notification by the provider or prospective provider to the market surveillance authority, accompanied by an explanation of the need for such an extension;

(g)

the subjects of the testing in real world conditions who are persons belonging to vulnerable groups due to their age or disability, are appropriately protected;

(h)

where a provider or prospective provider organises the testing in real world conditions in cooperation with one or more deployers or prospective deployers, the latter have been informed of all aspects of the testing that are relevant to their decision to participate, and given the relevant instructions for use of the AI system referred to in Article 13; the provider or prospective provider and the deployer or prospective deployer shall conclude an agreement specifying their roles and responsibilities with a view to ensuring compliance with the provisions for testing in real world conditions under this Regulation and under other applicable Union and national law;

(i)

the subjects of the testing in real world conditions have given informed consent in accordance with Article 61, or in the case of law enforcement, where the seeking of informed consent would prevent the AI system from being tested, the testing itself and the outcome of the testing in the real world conditions shall not have any negative effect on the subjects, and their personal data shall be deleted after the test is performed;

(j)

the testing in real world conditions is effectively overseen by the provider or prospective provider, as well as by deployers or prospective deployers through persons who are suitably qualified in the relevant field and have the necessary capacity, training and authority to perform their tasks;

(k)

the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded.

a)

dostawca lub potencjalny dostawca sporządził plan testów w warunkach rzeczywistych i przedłożył go organowi nadzoru rynku w państwie członkowskim, w którym mają być przeprowadzane te testy;

b)

organ nadzoru rynku w państwie członkowskim, w którym mają być przeprowadzone testy w warunkach rzeczywistych, zatwierdził te testy w warunkach rzeczywistych i plan testów w warunkach rzeczywistych; w przypadku gdy organ nadzoru rynku nie udzielił odpowiedzi w terminie 30 dni, testy w warunkach rzeczywistych i plan testów w warunkach rzeczywistych uznaje się za zatwierdzone; w przypadku gdy prawo krajowe nie przewiduje milczącego zatwierdzenia, testy w warunkach rzeczywistych nadal wymagają uzyskania zezwolenia;

c)

dostawca lub potencjalny dostawca – z wyjątkiem dostawców lub potencjalnych dostawców systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1, 6 i 7, w obszarach ścigania przestępstw, zarządzania migracją, azylem i kontrolą graniczną, oraz systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 2 – zarejestrował testy w warunkach rzeczywistych zgodnie z art. 71 ust. 4 pod ogólnounijnym niepowtarzalnym numerem identyfikacyjnym, podając informacje określone w załączniku IX; dostawca lub potencjalny dostawca systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1, 6 i 7, w obszarach ścigania przestępstw, zarządzania migracją, azylem i kontrolą graniczną – zarejestrował testy w warunkach rzeczywistych w niepublicznej części bazy danych UE zgodnie z art. 49 ust. 4 lit. d), pod ogólnounijnym niepowtarzalnym numerem identyfikacyjnym, podając informacje określone w przywołanym przepisie; dostawca lub potencjalny dostawca systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 2, zarejestrował testy w warunkach rzeczywistych zgodnie z art. 49 ust. 5;

d)

dostawca lub potencjalny dostawca przeprowadzający testy w warunkach rzeczywistych ma siedzibę w Unii lub ustanowił przedstawiciela prawnego, który ma siedzibę w Unii;

e)

dane zebrane i przetwarzane do celów testów w warunkach rzeczywistych przekazuje się do państw trzecich wyłącznie pod warunkiem wdrożenia odpowiednich zabezpieczeń mających zastosowanie na podstawie prawa Unii;

f)

testy w warunkach rzeczywistych trwają nie dłużej, niż to konieczne do osiągnięcia ich celów, a w każdym razie nie dłużej niż sześć miesięcy, z możliwością przedłużenia o dodatkowy okres sześciu miesięcy, z zastrzeżeniem uprzedniego powiadomienia organu nadzoru rynku przez dostawcę lub potencjalnego dostawcę, wraz z uzasadnieniem konieczności takiego przedłużenia;

g)

uczestnicy testów w warunkach rzeczywistych, którzy z uwagi na swój wiek, niepełnosprawność są osobami, które należą do grup szczególnie wrażliwych lub są w odpowiednio chronieni;

h)

w przypadku gdy dostawca lub potencjalny dostawca organizuje testy w warunkach rzeczywistych we współpracy z jednym podmiotem stosującym lub potencjalnym podmiotem stosującym, podmiot stosujący lub potencjalny podmiot stosujący został poinformowany o wszystkich aspektach testów, które są istotne dla jego decyzji o uczestnictwie, oraz otrzymuje odpowiednie instrukcje obsługi systemu AI, o których mowa w art. 13; dostawca lub potencjalny dostawca oraz podmiot stosujący lub potencjalny podmiot stosujący zawierają umowę określającą ich role i zakres odpowiedzialności w celu zapewnienia zgodności z przepisami dotyczącymi testów w warunkach rzeczywistych na podstawie niniejszego rozporządzenia oraz na podstawie innego mającego zastosowanie prawa Unii i prawa krajowego;

i)

uczestnicy testów w warunkach rzeczywistych wyrazili świadomą zgodę zgodnie z art. 61 lub – w przypadku ścigania przestępstw – gdy uzyskanie świadomej zgody uniemożliwiłoby testy systemu AI, same testy w warunkach rzeczywistych oraz ich wynik nie mogą mieć negatywnego wpływu na uczestników testów, a ich dane osobowe musza zostać usunięte po przeprowadzeniu testów;

j)

testy w warunkach rzeczywistych są skutecznie nadzorowane przez dostawcę lub potencjalnego dostawcę i podmioty stosujące lub potencjalne podmioty stosujące przy udziale osób posiadających odpowiednie kwalifikacje w danej dziedzinie oraz zdolności, przygotowanie szkoleniowe i uprawnienia niezbędne do wykonywania ich zadań;

k)

predykcje, zalecenia lub decyzje systemu AI można skutecznie odwrócić i zignorować.