Erwägungsgrund 155

Damit Anbieter von Hochrisiko-KI-Systemen die Erfahrungen mit der Verwendung von Hochrisiko-KI-Systemen bei der Verbesserung ihrer Systeme und im Konzeptions- und Entwicklungsprozess berücksichtigen oder rechtzeitig etwaige Korrekturmaßnahmen ergreifen können, sollten alle Anbieter über ein System zur Beobachtung nach dem Inverkehrbringen verfügen. Gegebenenfalls sollte die Beobachtung nach dem Inverkehrbringen eine Analyse der Interaktion mit anderen KI-Systemen, einschließlich anderer Geräte und Software, umfassen. Die Beobachtung nach dem Inverkehrbringen sollte nicht für sensible operative Daten von Betreibern, die Strafverfolgungsbehörden sind, gelten. Dieses System ist auch wichtig, damit den möglichen Risiken, die von KI-Systemen ausgehen, die nach dem Inverkehrbringen oder der Inbetriebnahme dazulernen, effizienter und zeitnah begegnet werden kann. In diesem Zusammenhang sollten die Anbieter auch verpflichtet sein, ein System einzurichten, um den zuständigen Behörden schwerwiegende Vorfälle zu melden, die sich aus der Verwendung ihrer KI-Systeme ergeben; damit sind Vorfälle oder Fehlfunktionen gemeint, die zum Tod oder zu schweren Gesundheitsschäden führen, schwerwiegende und irreversible Störungen der Verwaltung und des Betriebs kritischer Infrastrukturen, Verstöße gegen Verpflichtungen aus dem Unionsrecht, mit denen die Grundrechte geschützt werden sollen, oder schwere Sach- oder Umweltschäden.

Všichni poskytovatelé vysoce rizikových systémů AI by měli mít zaveden systém monitorování po uvedení na trh s cílem zajistit, že budou schopni zohlednit zkušenosti s používáním vysoce rizikových systémů AI při zlepšování svých systémů a procesu návrhu a vývoje, případně že budou schopni včas přijmout veškerá případná nápravná opatření. Monitorování po uvedení na trh by mělo případně zahrnovat analýzu interakce s jinými systémy AI, včetně jiných zařízení a softwaru. Monitorování po uvedení na trh by se nemělo vztahovat na citlivé provozní údaje subjektů zavádějících systémy AI, které jsou donucovacími orgány. Tento systém je rovněž klíčovým předpokladem zajištění účinnějšího a včasnějšího řešení potenciálních rizik vyplývajících ze systémů AI, které se po uvedení na trh nebo do provozu dále „učí“. Poskytovatelé by měli mít v této souvislosti rovněž povinnost zavést systém oznamování veškerých závažných incidentů, k nimž dojde v důsledku používání jejich systémů AI, příslušným orgánům, čímž se rozumí incident nebo porucha vedoucí k úmrtí nebo vážnému poškození zdraví, vážnému a nevratnému narušení řízení a provozu kritické infrastruktury, porušení povinností podle práva Unie, jejichž cílem je ochrana základních práv, nebo vážné škody na majetku nebo životním prostředí.