Erwägungsgrund 65

Das Risikomanagementsystem sollte in einem kontinuierlichen iterativen Prozess bestehen, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird. Ziel dieses Prozesses sollte es ein, die einschlägigen Risiken von KI-Systemen für Gesundheit, Sicherheit und Grundrechte zu ermitteln und zu mindern. Das Risikomanagementsystem sollte regelmäßig überprüft und aktualisiert werden, um seine dauerhafte Wirksamkeit sowie die Begründetheit und Dokumentierung aller gemäß dieser Verordnung getroffenen wesentlichen Entscheidungen und Maßnahmen zu gewährleisten. Mit diesem Prozess sollte sichergestellt werden, dass der Anbieter Risiken oder negative Auswirkungen ermittelt und Minderungsmaßnahmen ergreift in Bezug auf die bekannten und vernünftigerweise vorhersehbaren Risiken von KI-Systemen für die Gesundheit, die Sicherheit und die Grundrechte angesichts ihrer Zweckbestimmung und vernünftigerweise vorhersehbaren Fehlanwendung, einschließlich der möglichen Risiken, die sich aus der Interaktion zwischen dem KI-System und der Umgebung, in der es betrieben wird, ergeben könnten. Im Rahmen des Risikomanagementsystems sollten die vor dem Hintergrund des Stands der KI am besten geeigneten Risikomanagementmaßnahmen ergriffen werden. Bei der Ermittlung der am besten geeigneten Risikomanagementmaßnahmen sollte der Anbieter die getroffenen Entscheidungen dokumentieren und erläutern und gegebenenfalls Sachverständige und externe Interessenträger hinzuziehen. Bei der Ermittlung der vernünftigerweise vorhersehbaren Fehlanwendung von Hochrisiko-KI-Systemen sollte der Anbieter die Verwendungen von KI-Systemen erfassen, die zwar nicht unmittelbar der Zweckbestimmung entsprechen und in der Betriebsanleitung vorgesehen sind, jedoch nach vernünftigem Ermessen davon auszugehen ist, dass sie sich aus einem leicht absehbaren menschlichen Verhalten im Zusammenhang mit den spezifischen Merkmalen und der Verwendung eines bestimmten KI-Systems ergeben. Alle bekannten oder vorhersehbaren Umstände bezüglich der Verwendung des Hochrisiko-KI-Systems im Einklang mit seiner Zweckbestimmung oder einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte führen können, sollten vom Anbieter in der Betriebsanleitung aufgeführt werden. Damit soll sichergestellt werden, dass der Betreiber diese Umstände bei der Nutzung des Hochrisiko-KI-Systems kennt und berücksichtigt. Die Ermittlung und Umsetzung von Risikominderungsmaßnahmen in Bezug auf vorhersehbare Fehlanwendungen im Rahmen dieser Verordnung sollte keine spezifische zusätzliche Schulung für das Hochrisiko-KI-System durch den Anbieter erfordern, um gegen vorhersehbare Fehlanwendungen vorzugehen. Die Anbieter sind jedoch gehalten, solche zusätzlichen Schulungsmaßnahmen in Erwägung zu ziehen, um einer vernünftigerweise vorhersehbare Fehlanwendung entgegenzuwirken, soweit dies erforderlich und angemessen ist.

Systém riadenia rizík by mal pozostávať z nepretržitého iteratívneho procesu plánovaného a prebiehajúceho počas celého životného cyklu vysokorizikového systému AI. Tento proces by mal byť zameraný na identifikáciu a zmiernenie relevantných rizík systémov AI v oblasti zdravia, bezpečnosti a základných práv. Systém riadenia rizík by sa mal pravidelne preskúmavať a aktualizovať, aby sa zabezpečila jeho trvalá účinnosť, ako aj odôvodnenie a dokumentácia všetkých významných rozhodnutí a opatrení prijatých podľa tohto nariadenia. Týmto procesom by sa malo zabezpečiť, aby poskytovateľ identifikoval riziká alebo nepriaznivé vplyvy a vykonal zmierňujúce opatrenia zamerané na známe a odôvodnene predvídateľné riziká systémov AI pre zdravie, bezpečnosť a základné práva vzhľadom na ich zamýšľaný účel a rozumne predvídateľné nesprávne použitie vrátane možných rizík vyplývajúcich z interakcie medzi systémom AI a prostredím, v ktorom funguje. Systém riadenia rizík by mal prijať najvhodnejšie opatrenia na riadenie rizík vzhľadom na aktuálny stav vývoja AI. Pri určovaní najvhodnejších opatrení na riadenie rizík by mal poskytovateľ zdokumentovať a vysvetliť prijaté rozhodnutia a v prípade potreby by mal zapojiť odborníkov a externé zainteresované strany. Pri identifikácii odôvodnene predvídateľného nesprávneho použitia vysokorizikových systémov AI by sa poskytovateľ mal zaoberať použitím systémov AI, na ktoré sa síce priamo nevzťahuje zamýšľaný účel a ktoré sú stanovené v návode na použitie, možno však odôvodnene očakávať, že budú výsledkom ľahko predvídateľného ľudského správania v kontexte osobitných vlastností a používania konkrétneho systému AI. Všetky známe alebo predvídateľné okolnosti súvisiace s používaním vysokorizikového systému AI v súlade s jeho zamýšľaným účelom alebo za podmienok odôvodnene predvídateľného nesprávneho použitia, ktoré môžu viesť k rizikám pre zdravie a bezpečnosť alebo pre základné práva, by sa mali zahrnúť do návodu na použitie, ktorý poskytuje poskytovateľ. Cieľom je zabezpečiť, aby ich nasadzujúci subjekt poznal a zohľadnil pri používaní vysokorizikového systému AI. Identifikácia a vykonávanie opatrení na zmiernenie rizika predvídateľného nesprávneho použitia podľa tohto nariadenia by si nemali vyžadovať osobitnú dodatočnú odbornú prípravu zo strany poskytovateľa pre vysokorizikový systém AI na riešenie predvídateľného nesprávneho použitia. Poskytovatelia sa však nabádajú, aby zvážili takéto dodatočné opatrenia odbornej prípravy s cieľom zmierniť odôvodnene predvídateľné nesprávne použitie, ak je to potrebné a vhodné.