Pruebas de sistemas de IA de alto riesgo en condiciones reales fuera de los espacios controlados de pruebas para la IA
Español
1. Los proveedores o proveedores potenciales de sistemas de IA de alto riesgo enumerados en el anexo III o regulados por los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, podrán realizar pruebas de sistemas de IA de alto riesgo en condiciones reales fuera de los espacios controlados de pruebas para la IA de conformidad con el presente artículo y con el plan de la prueba en condiciones reales a que se refiere el presente artículo, sin perjuicio de las prohibiciones establecidas en el artículo 5.
La Comisión adoptará, mediante un acto de ejecución, los elementos detallados del plan de la prueba en condiciones reales. Dichos actos de ejecución se adoptarán de conformidad con el procedimiento de examen a que se refiere el artículo 98, apartado 2.
El presente apartado se entiende sin perjuicio del Derecho de la Unión o nacional en materia de pruebas en condiciones reales de sistemas de IA de alto riesgo asociados a productos regulados por los actos legislativos de armonización de la Unión enumerados en el anexo I.
2. Los proveedores o proveedores potenciales podrán realizar pruebas de los sistemas de IA de alto riesgo mencionados en el anexo III o regulados por los actos legislativos de armonización de la Unión enumerados en el anexo I, sección A, en condiciones reales en cualquier momento antes de la introducción en el mercado o la puesta en servicio del sistema de IA de alto riesgo por cuenta propia o en asociación con uno o varios responsables del despliegue o responsables del despliegue potenciales.
3. Las pruebas de sistemas de IA de alto riesgo en condiciones reales con arreglo al presente artículo se entenderán sin perjuicio de cualquier revisión ética que se exija en el Derecho de la Unión o nacional.
4. Los proveedores o proveedores potenciales podrán realizar pruebas en condiciones reales solamente cuando se cumplan todas las condiciones siguientes:
a) |
el proveedor o proveedor potencial ha elaborado un plan de la prueba en condiciones reales y lo ha presentado a la autoridad de vigilancia del mercado del Estado miembro en que se vayan a realizar las pruebas en condiciones reales; |
b) |
la autoridad de vigilancia del mercado del Estado miembro en que se vayan a realizar las pruebas en condiciones reales ha aprobado las pruebas en condiciones reales y el plan de la prueba en condiciones reales; si la autoridad de vigilancia del mercado no responde en un plazo de treinta días, se entenderá que las pruebas en condiciones reales y el plan de la prueba en condiciones reales han sido aprobados; cuando el Derecho nacional no contemple una aprobación tácita, las pruebas en condiciones reales estarán sujetas a una autorización también en este caso; |
c) |
el proveedor o proveedor potencial, con excepción de los proveedores o proveedores potenciales de sistemas de IA de alto riesgo mencionados en el anexo III, puntos 1, 6 y 7, en los ámbitos de la garantía del cumplimiento del Derecho, la migración, el asilo y la gestión del control fronterizo, así como de los sistemas de IA de alto riesgo mencionados en el punto 2 del anexo III ha registrado las pruebas en condiciones reales de conformidad con el artículo 71, apartado 4, con un número de identificación único para toda la Unión y la información indicada en el anexo IX; el proveedor o proveedor potencial de sistemas de IA de alto riesgo a que se refiere el anexo III, puntos 1, 6 y 7, en los ámbitos de la garantía del cumplimiento del Derecho, la migración, el asilo y la gestión del control fronterizo, ha registrado las pruebas en condiciones reales en la parte no pública de la base de datos de la UE de conformidad con el artículo 49, apartado 4, letra d), con un número de identificación único para toda la Unión y la información indicada en este; el proveedor o proveedor potencial de sistemas de IA de alto riesgo a que se refiere el anexo III, punto 2, ha registrado las pruebas en condiciones reales de conformidad con el artículo 49, apartado 5; |
d) |
el proveedor o proveedor potencial que realiza las pruebas en condiciones reales está establecido en la Unión o ha designado a un representante legal que está establecido en la Unión; |
e) |
los datos recabados y tratados a efectos de las pruebas en condiciones reales únicamente se transferirán a terceros países si se aplican las garantías adecuadas y aplicables en virtud del Derecho de la Unión; |
f) |
las pruebas en condiciones reales no duran más de lo necesario para lograr sus objetivos y, en cualquier caso, no más de seis meses, que podrán prorrogarse por un período adicional de seis meses, con sujeción al envío de una notificación previa por parte del proveedor o proveedor potencial a la autoridad de vigilancia del mercado, acompañada por una explicación de la necesidad de dicha prórroga; |
g) |
los sujetos de las pruebas en condiciones reales que sean personas pertenecientes a colectivos vulnerables debido a su edad o a una discapacidad cuentan con protección adecuada; |
h) |
cuando un proveedor o proveedor potencial organice las pruebas en condiciones reales en cooperación con uno o varios responsables del despliegue o responsables del despliegue potenciales, estos últimos habrán sido informados de todos los aspectos de las pruebas que resulten pertinentes para su decisión de participar y habrán recibido las instrucciones de uso pertinentes del sistema de IA a que se refiere el artículo 13; el proveedor o proveedor potencial y el responsable del despliegue o responsable del despliegue potencial alcanzarán un acuerdo en que se detallen sus funciones y responsabilidades con vistas a garantizar el cumplimiento de las disposiciones relativas a las pruebas en condiciones reales con arreglo al presente Reglamento y a otras disposiciones de Derecho de la Unión y nacional aplicable; |
i) |
los sujetos de las pruebas en condiciones reales han dado su consentimiento informado de conformidad con el artículo 61 o, en el ámbito de la garantía del cumplimiento del Derecho, en el que intentar obtener el consentimiento informado impediría que se probara el sistema de IA, las pruebas en sí y los resultados de las pruebas en condiciones reales no tendrán ningún efecto negativo sobre los sujetos, cuyos datos personales se suprimirán una vez realizada la prueba; |
j) |
las pruebas en condiciones reales son supervisadas de manera efectiva por el proveedor o el proveedor potencial y por los responsables del despliegue o los responsables del despliegue potenciales mediante personas adecuadamente cualificadas en el ámbito pertinente y con la capacidad, formación y autoridad necesarias para realizar sus tareas; |
k) |
se pueden revertir y descartar de manera efectiva las predicciones, recomendaciones o decisiones del sistema de IA. |
5. Cualquier sujeto de las pruebas en condiciones reales o su representante legalmente designado, según proceda, podrá, sin sufrir por ello perjuicio alguno y sin tener que proporcionar ninguna justificación, abandonar las pruebas en cualquier momento retirando su consentimiento informado y solicitar la supresión inmediata y permanente de sus datos personales. La retirada del consentimiento informado no afectará a las actividades ya completadas.
6. De conformidad con el artículo 75, los Estados miembros conferirán a sus autoridades de vigilancia del mercado poderes para exigir a los proveedores y proveedores potenciales que faciliten información, realizar sin previo aviso inspecciones a distancia o in situ y controlar la realización de las pruebas en condiciones reales y los sistemas de IA de alto riesgo relacionados. Las autoridades de vigilancia del mercado harán uso de dichos poderes para garantizar que las pruebas en condiciones reales se desarrollen de manera segura.
7. Se informará de cualquier incidente grave detectado en el transcurso de las pruebas en condiciones reales a la autoridad nacional de vigilancia del mercado de conformidad con el artículo 73. El proveedor o proveedor potencial adoptará medidas de reducción inmediatas o, en su defecto, suspenderá las pruebas en condiciones reales hasta que se produzca dicha reducción o pondrá fin a las pruebas. El proveedor o proveedor potencial establecerá un procedimiento para la rápida recuperación del sistema de IA en caso de que se ponga fin a las pruebas en condiciones reales.
8. El proveedor o proveedor potencial notificará a la autoridad nacional de vigilancia del mercado del Estado miembro en que se vayan a realizar las pruebas en condiciones reales la suspensión o la terminación de las pruebas en condiciones reales y los resultados finales.
9. El proveedor o proveedor potencial será responsable, conforme al Derecho de la Unión y nacional en materia de responsabilidad aplicable, de cualquier daño causado en el transcurso de sus pruebas en condiciones reales.
Français
1. Les essais de systèmes d'IA à haut risque en conditions réelles en dehors des bacs à sable réglementaires de l'IA peuvent être effectués par les fournisseurs ou fournisseurs potentiels de systèmes d'IA à haut risque énumérés à l'annexe III ou couverts par la législation d'harmonisation de l'Union dont la liste figure à l'annexe I, section A, conformément au présent article et au plan d'essais en conditions réelles visé au présent article, sans préjudice des interdictions prévues à l'article 5.
La Commission précise, par voie d’actes d’exécution, les éléments détaillés du plan d’essais en conditions réelles. Ces actes d’exécution sont adoptés en conformité avec la procédure d’examen visée à l’article 98, paragraphe 2.
Le présent paragraphe est sans préjudice du droit de l’Union ou du droit national relatif aux essais en conditions réelles de systèmes d’IA à haut risque liés aux produits qui relèvent de la législation d’harmonisation de l’Union dont la liste figure à l’annexe I.
2. Les fournisseurs ou fournisseurs potentiels peuvent effectuer, seuls ou en partenariat avec un ou plusieurs déployeurs ou déployeurs potentiels, des essais des systèmes d'IA à haut risque visés à l'annexe III ou couverts par la législation d'harmonisation de l'Union dont la liste figure à l'annexe I, section A, en conditions réelles, à tout moment avant la mise sur le marché ou la mise en service du système d'IA à haut risque concerné.
3. Les essais de systèmes d’IA à haut risque en conditions réelles au titre du présent article sont sans préjudice de tout examen éthique exigé par le droit de l’Union ou le droit national.
4. Les fournisseurs ou fournisseurs potentiels ne peuvent effectuer les essais en conditions réelles que si toutes les conditions suivantes sont remplies:
a) |
le fournisseur ou le fournisseur potentiel a établi un plan d’essais en conditions réelles et l’a soumis à l’autorité de surveillance du marché dans l’État membre où les essais en conditions réelles doivent être réalisés; |
b) |
l’autorité de surveillance du marché de l’État membre où les essais en conditions réelles doivent être réalisés a approuvé les essais en conditions réelles et le plan d’essais en conditions réelles; lorsque l’autorité de surveillance du marché n’a pas fourni de réponse dans un délai de 30 jours, les essais en conditions réelles et le plan d’essais en conditions réelles sont réputés approuvés; lorsque le droit national ne prévoit pas d’approbation tacite, les essais en conditions réelles restent soumis à autorisation; |
c) |
le fournisseur ou fournisseur potentiel, à l’exception des fournisseurs ou fournisseurs potentiels de systèmes d’IA à haut risque visés à l’annexe III, points 1, 6 et 7, dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, ainsi que des systèmes d’IA à haut risque visés à l’annexe III, point 2, a enregistré les essais en conditions réelles dans la partie non publique de la base de données de l’UE visée à l’article 71, paragraphe 4, avec un numéro d’identification unique à l’échelle de l’Union et les informations indiquées à l’annexe IX; le fournisseur ou fournisseur potentiel de systèmes d’IA à haut risque visé à l’annexe III, points 1, 6 et 7, dans les domaines des activités répressives, de la migration, de l’asile et de la gestion des contrôles aux frontières, a enregistré les essais en conditions réelles dans la partie non publique de la base de données de l’UE visée à l’article 49, paragraphe 4, point d), avec un numéro d’identification unique à l’échelle de l’Union et les informations y indiquées; le fournisseur ou fournisseur potentiel de systèmes d’IA à haut risque visé à l’annexe III, point 2, a enregistré les essais en conditions réelles conformément à l’article 49, paragraphe 5. |
d) |
le fournisseur ou fournisseur potentiel effectuant les essais en conditions réelles est établi dans l’Union ou a désigné un représentant légal établi dans l’Union; |
e) |
les données collectées et traitées aux fins des essais en conditions réelles ne sont transférées vers des pays tiers qu’à condition que des garanties appropriées et applicables en vertu du droit de l’Union soient en place; |
f) |
les essais en conditions réelles ne durent pas plus longtemps que nécessaire pour atteindre leurs objectifs et, en tout état de cause, pas plus de six mois, qui peuvent être prolongés pour une période supplémentaire de six mois, sous réserve d’une notification préalable par le fournisseur ou fournisseur potentiel à l’autorité de surveillance du marché, accompagnée d’une explication des raisons qui motivent une telle prolongation; |
g) |
les participants aux essais en conditions réelles qui sont des personnes appartenant à des groupes vulnérables en raison de leur âge ou de leur handicap sont dûment protégées; |
h) |
lorsqu’un fournisseur ou un fournisseur potentiel organise les essais en conditions réelles en coopération avec un ou plusieurs déployeurs ou déployeurs potentiels, ces derniers ont été préalablement informés de tous les aspects des essais qui sont pertinents pour leur décision de participer et ont reçu les instructions d’utilisation adéquates pour le système d’IA visé à l’article 13; le fournisseur ou fournisseur potentiel et le déployeur ou déployeur potentiel concluent un accord précisant leurs rôles et responsabilités en vue d’assurer le respect des dispositions relatives aux essais en conditions réelles prévues par le présent règlement et en vertu d’autres dispositions applicables du droit de l’Union et du droit national; |
i) |
les participants aux essais en conditions réelles ont donné leur consentement éclairé conformément à l’article 61 ou, dans le cas des services répressifs, lorsque la recherche d’un consentement éclairé empêcherait de réaliser les essais du système d’IA, les essais proprement dits et les résultats des essais en conditions réelles n’ont pas d’effet négatif sur les participants, et leurs données à caractère personnel sont supprimées une fois les essais réalisés; |
j) |
le fournisseur ou le fournisseur potentiel ainsi que les déployeurs ou les déployeurs potentiels effectuent un contrôle effectif des essais en conditions réelles, par des personnes dûment qualifiées dans le domaine concerné et disposant des capacités, de la formation et de l’autorité nécessaires pour accomplir leurs tâches; |
k) |
les prévisions, recommandations ou décisions du système d’IA peuvent effectivement être infirmées et ignorées. |
5. Tout participant aux essais en conditions réelles, ou son représentant légal, selon le cas, peut, sans encourir de préjudice et sans devoir se justifier, se retirer des essais à tout moment, en révoquant son consentement éclairé et peut demander la suppression immédiate et définitive de ses données à caractère personnel. Le retrait du consentement éclairé n’affecte pas les activités déjà menées.
6. Conformément à l’article 75, les États membres confèrent à leurs autorités de surveillance du marché le pouvoir d’exiger des fournisseurs et des fournisseurs potentiels qu’ils fournissent des informations, de procéder à des inspections inopinées à distance ou sur place et d’effectuer des vérifications concernant la réalisation des essais en conditions réelles et des systèmes d’IA à haut risque connexes. Les autorités de surveillance du marché utilisent ces pouvoirs pour veiller au développement sûr des essais en conditions réelles.
7. Tout incident grave constaté au cours des essais en conditions réelles est signalé à l’autorité nationale de surveillance du marché, conformément à l’article 73. Le fournisseur ou fournisseur potentiel adopte des mesures d’atténuation immédiates ou, à défaut, suspend les essais en conditions réelles jusqu’à ce que cette atténuation soit effective ou y met fin en l’absence d’atténuation. Le fournisseur ou fournisseur potentiel établit une procédure pour le rappel rapide du système d’IA lors de la cessation des essais en conditions réelles.
8. Les fournisseurs ou fournisseurs potentiels informent l’autorité nationale de surveillance du marché de l’État membre où les essais en conditions réelles doivent être réalisés de la suspension ou de la cessation des essais en conditions réelles et des résultats finaux.
9. Le fournisseur ou le fournisseur potentiel sont responsables, en vertu du droit de l’Union et du droit national applicable en matière de responsabilité, de tout préjudice causé durant les essais en conditions réelles.