Considérant 155

Afin de veiller à ce que les fournisseurs de systèmes d’IA à haut risque puissent prendre en considération l’expérience acquise dans l’utilisation de systèmes d’IA à haut risque pour améliorer leurs systèmes et le processus de conception et de développement, ou qu’ils puissent prendre d’éventuelles mesures correctives en temps utile, tous les fournisseurs devraient avoir mis en place un système de surveillance après commercialisation. Le cas échéant, la surveillance après commercialisation devrait comprendre une analyse de l’interaction avec d’autres systèmes d’IA, y compris d’autres dispositifs et logiciels. La surveillance après commercialisation ne devrait pas couvrir les données opérationnelles sensibles des utilisateurs de systèmes d’IA qui sont des autorités répressives. Ce système est aussi essentiel pour garantir que les risques potentiels découlant des systèmes d’IA qui continuent à «apprendre» après avoir été mis sur le marché ou mis en service puissent être traités plus efficacement et en temps utile. Dans ce contexte, les fournisseurs devraient également être tenus de mettre en place un système pour signaler aux autorités compétentes tout incident grave résultant de l’utilisation de leurs systèmes d’IA, à savoir un incident ou un dysfonctionnement entraînant la mort ou une atteinte grave à la santé, une perturbation grave et irréversible de la gestion et de l’exploitation des infrastructures critiques, des infractions aux obligations découlant du droit de l’Union visant à protéger les droits fondamentaux ou une atteinte grave aux biens ou à l’environnement.

Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de vigilancia poscomercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o que puedan adoptar cualquier medida correctora en el momento oportuno. Cuando proceda, la vigilancia poscomercialización debe incluir un análisis de la interacción con otros sistemas de IA, incluidos otros dispositivos y software. La vigilancia poscomercialización no debe comprender los datos operativos sensibles de los responsables del despliegue de sistemas de IA que sean autoridades garantes del cumplimiento del Derecho. Este sistema es también fundamental para garantizar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, procede exigir a los proveedores que también cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave asociado al uso de sus sistemas de IA, entendido como un incidente o defecto que tenga como consecuencia un fallecimiento o daños graves para la salud, una alteración grave e irreversible de la gestión o el funcionamiento de infraestructuras críticas, el incumplimiento de obligaciones derivadas del Derecho de la Unión destinadas a proteger los derechos fundamentales o daños graves a la propiedad o al medio ambiente.