Tests von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Reallaboren

a)

Der Anbieter oder der zukünftige Anbieter hat einen Plan für einen Test unter Realbedingungen erstellt und diesen bei der Marktüberwachungsbehörde in dem Mitgliedstaat eingereicht, in dem der Test unter Realbedingungen stattfinden soll;

b)

die Marktüberwachungsbehörde in dem Mitgliedstaat, in dem der Test unter Realbedingungen stattfinden soll, hat den Test unter Realbedingungen und den Plan für einen Test unter Realbedingungen genehmigt; hat die Marktüberwachungsbehörde innerhalb von 30 Tagen keine Antwort gegeben, so gelten der Test unter Realbedingungen und der Plan für einen Test unter Realbedingungen als genehmigt; ist im nationalen Recht keine stillschweigende Genehmigung vorgesehen, so bleibt der Test unter Realbedingungen genehmigungspflichtig;

c)

der Anbieter oder zukünftige Anbieter, mit Ausnahme der in Anhang III Nummern 1, 6 und 7 genannten Anbieter oder zukünftigen Anbieter von Hochrisiko-KI-Systemen in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrolle und der in Anhang III Nummer 2 genannten Hochrisiko-KI-Systeme, hat den Test unter Realbedingungen unter Angabe einer unionsweit einmaligen Identifizierungsnummer und der in Anhang IX festgelegten Informationen gemäß Artikel 71 Absatz 4 registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummern 1, 6 und 7 in den Bereichen Strafverfolgung, Migration, Asyl und Grenzkontrollmanagement hat die Tests unter Realbedingungen im sicheren nicht öffentlichen Teil der EU-Datenbank gemäß Artikel 49 Absatz 4 Buchstabe d mit einer unionsweit einmaligen Identifizierungsnummer und den darin festgelegten Informationen registriert; der Anbieter oder zukünftige Anbieter von Hochrisiko-KI-Systemen gemäß Anhang III Nummer 2 hat die Tests unter Realbedingungen gemäß Artikel 49 Absatz 5 registriert;

d)

der Anbieter oder der zukünftige Anbieter, der den Test unter Realbedingungen durchführt, ist in der Union niedergelassen oder hat einen in der Union niedergelassenen gesetzlichen Vertreter bestellt;

e)

die für die Zwecke des Tests unter Realbedingungen erhobenen und verarbeiteten Daten werden nur dann an Drittländer übermittelt, wenn gemäß Unionsrecht geeignete und anwendbare Schutzvorkehrungen greifen;

f)

der Test unter Realbedingungen dauert nicht länger als zur Erfüllung seiner Zielsetzungen nötig und in keinem Fall länger als sechs Monate; dieser Zeitraum kann um weitere sechs Monate verlängert werden, sofern der Anbieter oder der zukünftige Anbieter die Marktüberwachungsbehörde davon vorab in Kenntnis setzt und erläutert, warum eine solche Verlängerung erforderlich ist;

g)

Testteilnehmer im Rahmen von Tests unter Realbedingungen, die aufgrund ihres Alters oder einer Behinderung schutzbedürftigen Gruppen angehören, sind angemessen geschützt;

h)

wenn ein Anbieter oder zukünftiger Anbieter den Test unter Realbedingungen in Zusammenarbeit mit einem oder mehreren Betreibern oder zukünftigen Betreibern organisiert, werden Letztere vorab über alle für ihre Teilnahmeentscheidung relevanten Aspekte des Tests informiert und erhalten die einschlägigen in Artikel 13 genannten Betriebsanleitungen für das KI-System; der Anbieter oder zukünftige Anbieter und der Betreiber oder zukünftige Betreiber schließen eine Vereinbarung, in der ihre Aufgaben und Zuständigkeiten festgelegt sind, um für die Einhaltung der nach dieser Verordnung und anderem Unionsrecht und nationalem Recht für Tests unter Realbedingungen geltenden Bestimmungen zu sorgen;

i)

die Testteilnehmer im Rahmen von Tests unter Realbedingungen erteilen ihre informierte Einwilligung gemäß Artikel 61, oder, wenn im Fall der Strafverfolgung die Einholung einer informierten Einwilligung den Test des KI-Systems verhindern würde, dürfen sich der Test und die Ergebnisse des Tests unter Realbedingungen nicht negativ auf die Testteilnehmer auswirken und ihre personenbezogenen Daten werden nach Durchführung des Tests gelöscht;

j)

der Anbieter oder zukünftige Anbieter und die Betreiber und zukünftigen Betreiber lassen den Test unter Realbedingungen von Personen wirksam überwachen, die auf dem betreffenden Gebiet angemessen qualifiziert sind und über die Fähigkeit, Ausbildung und Befugnis verfügen, die für die Wahrnehmung ihrer Aufgaben erforderlich sind;

k)

die Vorhersagen, Empfehlungen oder Entscheidungen des KI-Systems können effektiv rückgängig gemacht und außer Acht gelassen werden.

a)

le fournisseur ou le fournisseur potentiel a établi un plan d’essais en conditions réelles et l’a soumis à l’autorité de surveillance du marché dans l’État membre où les essais en conditions réelles doivent être réalisés;

b)

l’autorité de surveillance du marché de l’État membre où les essais en conditions réelles doivent être réalisés a approuvé les essais en conditions réelles et le plan d’essais en conditions réelles; lorsque l’autorité de surveillance du marché n’a pas fourni de réponse dans un délai de 30 jours, les essais en conditions réelles et le plan d’essais en conditions réelles sont réputés approuvés; lorsque le droit national ne prévoit pas d’approbation tacite, les essais en conditions réelles restent soumis à autorisation;

c)

le fournisseur ou fournisseur potentiel, à l’exception des fournisseurs ou fournisseurs potentiels de systèmes d’IA à haut risque visés à l’annexe III, points 1, 6 et 7, dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, ainsi que des systèmes d’IA à haut risque visés à l’annexe III, point 2, a enregistré les essais en conditions réelles dans la partie non publique de la base de données de l’UE visée à l’article 71, paragraphe 4, avec un numéro d’identification unique à l’échelle de l’Union et les informations indiquées à l’annexe IX; le fournisseur ou fournisseur potentiel de systèmes d’IA à haut risque visé à l’annexe III, points 1, 6 et 7, dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, a enregistré les essais en conditions réelles dans la partie non publique de la base de données de l’UE visée à l’article 49, paragraphe 4, point d), avec un numéro d’identification unique à l’échelle de l’Union et les informations y indiquées; le fournisseur ou fournisseur potentiel de systèmes d’IA à haut risque visé à l’annexe III, point 2, a enregistré les essais en conditions réelles conformément à l’article 49, paragraphe 5.

d)

le fournisseur ou fournisseur potentiel effectuant les essais en conditions réelles est établi dans l’Union ou a désigné un représentant légal établi dans l’Union;

e)

les données collectées et traitées aux fins des essais en conditions réelles ne sont transférées vers des pays tiers qu’à condition que des garanties appropriées et applicables en vertu du droit de l’Union soient en place;

f)

les essais en conditions réelles ne durent pas plus longtemps que nécessaire pour atteindre leurs objectifs et, en tout état de cause, pas plus de six mois, qui peuvent être prolongés pour une période supplémentaire de six mois, sous réserve d’une notification préalable par le fournisseur ou fournisseur potentiel à l’autorité de surveillance du marché, accompagnée d’une explication des raisons qui motivent une telle prolongation;

g)

les participants aux essais en conditions réelles qui sont des personnes appartenant à des groupes vulnérables en raison de leur âge ou de leur handicap sont dûment protégées;

h)

lorsqu’un fournisseur ou un fournisseur potentiel organise les essais en conditions réelles en coopération avec un ou plusieurs déployeurs ou déployeurs potentiels, ces derniers ont été préalablement informés de tous les aspects des essais qui sont pertinents pour leur décision de participer et ont reçu les instructions d’utilisation adéquates pour le système d’IA visé à l’article 13; le fournisseur ou fournisseur potentiel et le déployeur ou déployeur potentiel concluent un accord précisant leurs rôles et responsabilités en vue d’assurer le respect des dispositions relatives aux essais en conditions réelles prévues par le présent règlement et en vertu d’autres dispositions applicables du droit de l’Union et du droit national;

i)

les participants aux essais en conditions réelles ont donné leur consentement éclairé conformément à l’article 61 ou, dans le cas des services répressifs, lorsque la recherche d’un consentement éclairé empêcherait de réaliser les essais du système d’IA, les essais proprement dits et les résultats des essais en conditions réelles n’ont pas d’effet négatif sur les participants, et leurs données à caractère personnel sont supprimées une fois les essais réalisés;

j)

le fournisseur ou le fournisseur potentiel ainsi que les déployeurs ou les déployeurs potentiels effectuent un contrôle effectif des essais en conditions réelles, par des personnes dûment qualifiées dans le domaine concerné et disposant des capacités, de la formation et de l’autorité nécessaires pour accomplir leurs tâches;

k)

les prévisions, recommandations ou décisions du système d’IA peuvent effectivement être infirmées et ignorées.