Recital 141

In order to accelerate the process of development and the placing on the market of the high-risk AI systems listed in an annex to this Regulation, it is important that providers or prospective providers of such systems may also benefit from a specific regime for testing those systems in real world conditions, without participating in an AI regulatory sandbox. However, in such cases, taking into account the possible consequences of such testing on individuals, it should be ensured that appropriate and sufficient guarantees and conditions are introduced by this Regulation for providers or prospective providers. Such guarantees should include, inter alia, requesting informed consent of natural persons to participate in testing in real world conditions, with the exception of law enforcement where the seeking of informed consent would prevent the AI system from being tested. Consent of subjects to participate in such testing under this Regulation is distinct from, and without prejudice to, consent of data subjects for the processing of their personal data under the relevant data protection law. It is also important to minimise the risks and enable oversight by competent authorities and therefore require prospective providers to have a real-world testing plan submitted to competent market surveillance authority, register the testing in dedicated sections in the EU database subject to some limited exceptions, set limitations on the period for which the testing can be done and require additional safeguards for persons belonging to certain vulnerable groups, as well as a written agreement defining the roles and responsibilities of prospective providers and deployers and effective oversight by competent personnel involved in the real world testing. Furthermore, it is appropriate to envisage additional safeguards to ensure that the predictions, recommendations or decisions of the AI system can be effectively reversed and disregarded and that personal data is protected and is deleted when the subjects have withdrawn their consent to participate in the testing without prejudice to their rights as data subjects under the Union data protection law. As regards transfer of data, it is also appropriate to envisage that data collected and processed for the purpose of testing in real-world conditions should be transferred to third countries only where appropriate and applicable safeguards under Union law are implemented, in particular in accordance with bases for transfer of personal data under Union law on data protection, while for non-personal data appropriate safeguards are put in place in accordance with Union law, such as Regulations (EU) 2022/868 ⁴² and (EU) 2023/2854 ⁴³ of the European Parliament and of the Council.

V zájmu urychlení procesu vývoje vysoce rizikových systémů AI uvedených v příloze tohoto nařízení a jejich uvádění na trh je důležité, aby poskytovatelé nebo potenciální poskytovatelé těchto systémů mohli rovněž využívat zvláštního režimu pro testování těchto systémů v reálných podmínkách, aniž by se účastnili regulačního sandboxu pro AI. V takových případech, s ohledem na možné důsledky takového testování pro jednotlivce by však mělo být zajištěno, aby toto nařízení pro poskytovatele nebo potenciální poskytovatele zavedlo vhodné a dostatečné záruky a podmínky. Tyto záruky by měly mimo jiné zahrnovat požadavek na informovaný souhlas fyzických osob s účastí na testování v reálných podmínkách, s výjimkou vymáhání práva v případech, kdy by získání informovaného souhlasu bránilo testování systému AI. Souhlas subjektů údajů s účastí na takovém testování podle tohoto nařízení je odlišný od souhlasu subjektů údajů se zpracováním jejich osobních údajů podle příslušného práva v oblasti ochrany údajů, který jím není dotčen. Je rovněž důležité minimalizovat rizika a umožnit dohled ze strany příslušných orgánů, a proto požadovat, aby potenciální poskytovatelé předložili příslušnému orgánu dozoru nad trhem plán testování v reálných podmínkách, zaregistrovali testování ve specializovaných oddílech v databázi EU s výhradou určitých omezených výjimek, stanovili omezení doby, po kterou lze testování provádět, a vyžadovali další záruky pro osoby patřící do některé ze zranitelných skupin, jakož i písemnou dohodu vymezující úlohy a povinnosti potenciálních poskytovatelů a zavádějících subjektů a účinný dohled ze strany příslušných pracovníků zapojených do testování v reálném provozu. Dále je vhodné stanovit další záruky, které zajistí, aby predikce, doporučení nebo rozhodnutí systému AI mohly být účinně zrušeny a ignorovány a aby byly osobní údaje chráněny a vymazány, pokud subjekty odvolají svůj souhlas s účastí na testování, aniž by byla dotčena jejich práva jakožto subjektů údajů podle práva Unie o ochraně údajů. Pokud jde o předávání údajů, je rovněž vhodné předpokládat, že údaje shromážděné a zpracovávané pro účely testování v reálných podmínkách by měly být předávány do třetích zemí pouze v případě, že jsou zavedeny vhodné a použitelné záruky podle práva Unie, zejména v souladu se základy pro předávání osobních údajů podle práva Unie o ochraně údajů, zatímco pro neosobní údaje jsou zavedeny vhodné záruky v souladu s právem Unie, jako jsou nařízení Evropského parlamentu a Rady (EU) 2022/868 ⁴² a (EU) 2023/2854 ⁴³.