Recital 155

In order to ensure that providers of high-risk AI systems can take into account the experience on the use of high-risk AI systems for improving their systems and the design and development process or can take any possible corrective action in a timely manner, all providers should have a post-market monitoring system in place. Where relevant, post-market monitoring should include an analysis of the interaction with other AI systems including other devices and software. Post-market monitoring should not cover sensitive operational data of deployers which are law enforcement authorities. This system is also key to ensure that the possible risks emerging from AI systems which continue to ‘learn’ after being placed on the market or put into service can be more efficiently and timely addressed. In this context, providers should also be required to have a system in place to report to the relevant authorities any serious incidents resulting from the use of their AI systems, meaning incident or malfunctioning leading to death or serious damage to health, serious and irreversible disruption of the management and operation of critical infrastructure, infringements of obligations under Union law intended to protect fundamental rights or serious damage to property or the environment.

W celu zapewnienia, aby dostawcy systemów AI wysokiego ryzyka mogli wykorzystywać doświadczenia związane ze stosowaniem systemów AI wysokiego ryzyka do ulepszenia swoich systemów oraz procesu projektowania i rozwoju lub byli w stanie odpowiednio szybko podejmować wszelkie możliwe działania naprawcze, każdy dostawca powinien wdrożyć system monitorowania po wprowadzeniu do obrotu. W stosownych przypadkach monitorowanie po wprowadzeniu do obrotu powinno obejmować analizę interakcji z innymi systemami AI, w tym z innymi urządzeniami i oprogramowaniem. Monitorowanie po wprowadzeniu do obrotu nie obejmuje wrażliwych danych operacyjnych podmiotów stosujących, które są organami ścigania. System ten ma również zasadnicze znaczenie dla zapewnienia skuteczniejszego i terminowego przeciwdziałania możliwym pojawiającym się ryzykom związanym z systemami AI, które nadal „uczą się” po wprowadzeniu do obrotu lub oddaniu do użytku. W tym kontekście dostawcy powinni być również zobowiązani do wdrożenia systemu zgłaszania odpowiednim organom wszelkich poważnych incydentów zaistniałych w związku z wykorzystaniem ich systemów AI, tj. incydentu lub nieprawidłowego działania prowadzącego do śmierci lub poważnej szkody dla zdrowia, poważnych i nieodwracalnych zakłóceń w zarządzaniu infrastrukturą krytyczną i jej działaniu, naruszeń obowiązków ustanowionych w prawie Unii, których celem jest ochrona praw podstawowych, lub poważnych szkód majątkowych lub środowiskowych.