Considerando 155

Todos los proveedores de sistemas de IA de alto riesgo deben contar con un sistema de vigilancia poscomercialización, con vistas a garantizar que puedan tener en cuenta la experiencia con el uso de esos sistemas de cara a mejorar los suyos y el proceso de diseño y desarrollo o que puedan adoptar cualquier medida correctora en el momento oportuno. Cuando proceda, la vigilancia poscomercialización debe incluir un análisis de la interacción con otros sistemas de IA, incluidos otros dispositivos y software. La vigilancia poscomercialización no debe comprender los datos operativos sensibles de los responsables del despliegue de sistemas de IA que sean autoridades garantes del cumplimiento del Derecho. Este sistema es también fundamental para garantizar que los posibles riesgos derivados de los sistemas de IA que siguen «aprendiendo» tras su introducción en el mercado o puesta en servicio se aborden de un modo más eficiente y oportuno. En este contexto, procede exigir a los proveedores que también cuenten con un sistema para comunicar a las autoridades pertinentes cualquier incidente grave asociado al uso de sus sistemas de IA, entendido como un incidente o defecto que tenga como consecuencia un fallecimiento o daños graves para la salud, una alteración grave e irreversible de la gestión o el funcionamiento de infraestructuras críticas, el incumplimiento de obligaciones derivadas del Derecho de la Unión destinadas a proteger los derechos fundamentales o daños graves a la propiedad o al medio ambiente.

Damit Anbieter von Hochrisiko-KI-Systemen die Erfahrungen mit der Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur Beobachtung nach dem Inverkehrbringen verfügen. Gegebenenfalls sollte die Beobachtung nach dem Inverkehrbringen eine Analyse der Interaktion mit anderen KI-Systemen, einschließlich anderer Geräte und Software, umfassen. Die Beobachtung nach dem Inverkehrbringen sollte nicht für sensible operative Daten von Betreibern, die Strafverfolgungsbehörden sind, gelten. Dieses System ist auch wichtig, damit den möglichen Risiken, die von KI-Systemen ausgehen, die nach dem Inverkehrbringen oder der Inbetriebnahme dazulernen, effizienter und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen Behörden schwerwiegende Vorfälle zu melden, die sich aus der Verwendung ihrer KI-Systeme ergeben; damit sind Vorfälle oder Fehlfunktionen gemeint, die zum Tod oder zu schweren Gesundheitsschäden führen, schwerwiegende und irreversible Störungen der Verwaltung und des Betriebs kritischer Infrastrukturen, Verstöße gegen Verpflichtungen aus dem Unionsrecht, mit denen die Grundrechte geschützt werden sollen, oder schwere Sach- oder Umweltschäden.