Recital 155

In order to ensure that providers of high-risk AI systems can take into account the experience on the use of high-risk AI systems for improving their systems and the design and development process or can take any possible corrective action in a timely manner, all providers should have a post-market monitoring system in place. Where relevant, post-market monitoring should include an analysis of the interaction with other AI systems including other devices and software. Post-market monitoring should not cover sensitive operational data of deployers which are law enforcement authorities. This system is also key to ensure that the possible risks emerging from AI systems which continue to ‘learn’ after being placed on the market or put into service can be more efficiently and timely addressed. In this context, providers should also be required to have a system in place to report to the relevant authorities any serious incidents resulting from the use of their AI systems, meaning incident or malfunctioning leading to death or serious damage to health, serious and irreversible disruption of the management and operation of critical infrastructure, infringements of obligations under Union law intended to protect fundamental rights or serious damage to property or the environment.

Al fine di garantire che i fornitori di sistemi di IA ad alto rischio possano tenere in considerazione l'esperienza sull'uso di sistemi di IA ad alto rischio per migliorare i loro sistemi e il processo di progettazione e sviluppo o possano adottare tempestivamente eventuali misure correttive, è opportuno che tutti i fornitori dispongano di un sistema di monitoraggio successivo all'immissione sul mercato. Se del caso, il monitoraggio successivo all'immissione sul mercato dovrebbe includere un'analisi dell'interazione con altri sistemi di IA, compresi altri dispositivi e software. Il monitoraggio successivo all'immissione sul mercato non dovrebbe riguardare i dati operativi sensibili dei deployer che sono autorità di contrasto. Tale sistema è altresì fondamentale per garantire che i possibili rischi derivanti dai sistemi di IA che proseguono il loro «apprendimento» dopo essere stati immessi sul mercato o messi in servizio possano essere affrontati in modo più efficiente e tempestivo. I fornitori dovrebbero anche essere tenuti, in tale contesto, a predisporre un sistema per segnalare alle autorità competenti eventuali incidenti gravi derivanti dall'uso dei loro sistemi di IA, vale a dire incidenti o malfunzionamenti che comportano il decesso o gravi danni alla salute, perturbazioni gravi e irreversibili della gestione o del funzionamento delle infrastrutture critiche, violazioni degli obblighi ai sensi del diritto dell'Unione intesi a proteggere i diritti fondamentali o gravi danni alle cose o all'ambiente.