Systém riadenia rizík

1.   V súvislosti s vysokorizikovými systémami AI sa zriadi, zavedie, zdokumentuje a udržiava systém riadenia rizík.

2.   Systém riadenia rizík sa vykladá ako nepretržitý iteratívny proces plánovaný a uskutočňovaný počas celého životného cyklu vysokorizikového systému AI, ktorý si vyžaduje pravidelné systematické preskúmanie a aktualizovanie. Zahŕňa tieto kroky:

a)	identifikáciu a analýzu známych a odôvodnene predvídateľných rizík, ktoré vysokorizikový systém AI môže predstavovať pre zdravie, bezpečnosť alebo základné práva, keď sa vysokorizikový systém AI používa v súlade s jeho zamýšľaným účelom;

b)	odhad a hodnotenie rizík, ktoré môžu vzniknúť, keď sa vysokorizikový systém AI používa v súlade s jeho zamýšľaným účelom a za podmienok odôvodnene predvídateľného nesprávneho použitia;

c)	hodnotenie ďalších možných rizík na základe analýzy údajov získaných zo systému monitorovania po uvedení na trh v zmysle článku 72;

d)	prijatie vhodných a cielených opatrení na riadenie rizík určených na riešenie rizík identifikovaných podľa písmena a).

3.   Tento článok sa vzťahuje len na tie riziká, ktoré možno primerane zmierniť alebo odstrániť vývojom alebo dizajnom vysokorizikového systému AI alebo poskytnutím primeraných technických informácií.

4.   V opatreniach na riadenie rizík uvedených v odseku 2 písm. d) sa náležite zohľadnia účinky a možné interakcie vyplývajúce z kombinovaného uplatňovania požiadaviek stanovených v tomto oddiele s cieľom účinnejšie minimalizovať riziká a zároveň dosiahnuť primeranú rovnováhu pri vykonávaní opatrení na splnenie týchto požiadaviek.

5.   Opatrenia na riadenie rizík uvedené v odseku 2 písm. d) musia byť také, aby sa relevantné zvyškové riziká spojené s jednotlivými nebezpečenstvami, ako aj celkové zvyškové riziko vysokorizikových systémov AI považovali za prijateľné.

Pri určovaní najvhodnejších opatrení na riadenie rizík sa zabezpečí:

a)	odstránenie alebo zníženie rizík identifikovaných a vyhodnotených podľa odseku 2, pokiaľ je to technicky možné prostredníctvom primeraného dizajnu a vývoja vysokorizikového systému AI;

b)	v relevantnom prípade zavedenie primeraných zmierňujúcich a kontrolných opatrení na riešenie rizík, ktoré nemožno odstrániť;

c)	poskytovanie informácií požadovaných podľa článku 13 a v relevantnom prípade odborná príprava pre nasadzujúce subjekty.

V záujme odstraňovania alebo znižovania rizík súvisiacich s používaním vysokorizikového systému AI sa náležite zohľadnia technické znalosti, skúsenosti, vzdelanie, odborná príprava, ktoré sa očakávajú od nasadzujúceho subjektu, ako aj predpokladaný kontext, v ktorom sa má systém používať.

6.   Vysokorizikové systémy AI sa testujú na účel identifikácie najvhodnejších a cielených opatrení na riadenie rizík. Testovaním sa zabezpečí, aby vysokorizikové systémy AI fungovali konzistentne s ich zamýšľaným účelom a spĺňali požiadavky stanovené v tomto oddiele.

7.   Postupy testovania môžu zahŕňať testovanie v reálnych podmienkach v súlade s článkom 60.

8.   Testovanie vysokorizikových systémov AI sa vykonáva podľa potreby kedykoľvek počas celého procesu vývoja a v každom prípade pred ich uvedením na trh alebo do prevádzky. Testovanie sa vykonáva na základe vopred vymedzených metrík a pravdepodobnostných prahových hodnôt, ktoré sú primerané zamýšľanému účelu vysokorizikového systému AI.

9.   Pri implementácii systému riadenia rizík stanoveného v odsekoch 1 až 7 poskytovatelia zvážia, či vysokorizikový systém AI vzhľadom na svoj zamýšľaný účel pravdepodobne nepriaznivo neovplyvní osoby mladšie ako 18 rokov a prípadne iné zraniteľné skupiny.

10.   V prípade poskytovateľov vysokorizikových systémov AI, na ktorých sa vzťahujú požiadavky týkajúce sa vnútorných procesov riadenia rizík podľa iných príslušných ustanovení práva Únie, môžu byť aspekty stanovené v odsekoch 1 až 9 súčasťou postupov riadenia rizík stanovených podľa uvedeného práva alebo kombinované s týmito postupmi.

(1)   Für Hochrisiko-KI-Systeme wird ein Risikomanagementsystem eingerichtet, angewandt, dokumentiert und aufrechterhalten.

(2)   Das Risikomanagementsystem versteht sich als ein kontinuierlicher iterativer Prozess, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird und eine regelmäßige systematische Überprüfung und Aktualisierung erfordert. Es umfasst folgende Schritte:

a)	die Ermittlung und Analyse der bekannten und vernünftigerweise vorhersehbaren Risiken, die vom Hochrisiko-KI-System für die Gesundheit, Sicherheit oder Grundrechte ausgehen können, wenn es entsprechend seiner Zweckbestimmung verwendet wird;

b)	die Abschätzung und Bewertung der Risiken, die entstehen können, wenn das Hochrisiko-KI-System entsprechend seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird;

c)	die Bewertung anderer möglicherweise auftretender Risiken auf der Grundlage der Auswertung der Daten aus dem in Artikel 72 genannten System zur Beobachtung nach dem Inverkehrbringen;

d)	die Ergreifung geeigneter und gezielter Risikomanagementmaßnahmen zur Bewältigung der gemäß Buchstabe a ermittelten Risiken.

(3)   Die in diesem Artikel genannten Risiken betreffen nur solche Risiken, die durch die Entwicklung oder Konzeption des Hochrisiko-KI-Systems oder durch die Bereitstellung ausreichender technischer Informationen angemessen gemindert oder behoben werden können.

(4)   Bei den in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen werden die Auswirkungen und möglichen Wechselwirkungen, die sich aus der kombinierten Anwendung der Anforderungen dieses Abschnitts ergeben, gebührend berücksichtigt, um die Risiken wirksamer zu minimieren und gleichzeitig ein angemessenes Gleichgewicht bei der Durchführung der Maßnahmen zur Erfüllung dieser Anforderungen sicherzustellen.

(5)   Die in Absatz 2 Buchstabe d genannten Risikomanagementmaßnahmen werden so gestaltet, dass jedes mit einer bestimmten Gefahr verbundene relevante Restrisiko sowie das Gesamtrestrisiko der Hochrisiko-KI-Systeme als vertretbar beurteilt wird.

Bei der Festlegung der am besten geeigneten Risikomanagementmaßnahmen ist Folgendes sicherzustellen:

a)	soweit technisch möglich, Beseitigung oder Verringerung der gemäß Absatz 2 ermittelten und bewerteten Risiken durch eine geeignete Konzeption und Entwicklung des Hochrisiko-KI-Systems;

b)	gegebenenfalls Anwendung angemessener Minderungs- und Kontrollmaßnahmen zur Bewältigung nicht auszuschließender Risiken;

c)	Bereitstellung der gemäß Artikel 13 erforderlichen Informationen und gegebenenfalls entsprechende Schulung der Betreiber.

Zur Beseitigung oder Verringerung der Risiken im Zusammenhang mit der Verwendung des Hochrisiko-KI-Systems werden die technischen Kenntnisse, die Erfahrungen und der Bildungsstand, die vom Betreiber erwartet werden können, sowie der voraussichtliche Kontext, in dem das System eingesetzt werden soll, gebührend berücksichtigt.

(6)   Hochrisiko-KI-Systeme müssen getestet werden, um die am besten geeigneten gezielten Risikomanagementmaßnahmen zu ermitteln. Durch das Testen wird sichergestellt, dass Hochrisiko-KI-Systeme stets im Einklang mit ihrer Zweckbestimmung funktionieren und die Anforderungen dieses Abschnitts erfüllen.

(7)   Die Testverfahren können einen Test unter Realbedingungen gemäß Artikel 60 umfassen.

(8)   Das Testen von Hochrisiko-KI-Systemen erfolgt zu jedem geeigneten Zeitpunkt während des gesamten Entwicklungsprozesses und in jedem Fall vor ihrem Inverkehrbringen oder ihrer Inbetriebnahme. Das Testen erfolgt anhand vorab festgelegter Metriken und Wahrscheinlichkeitsschwellenwerte, die für die Zweckbestimmung des Hochrisiko-KI-Systems geeignet sind.

(9)   Bei der Umsetzung des in den Absätzen 1 bis 7 vorgesehenen Risikomanagementsystems berücksichtigen die Anbieter, ob angesichts seiner Zweckbestimmung das Hochrisiko-KI-System wahrscheinlich nachteilige Auswirkungen auf Personen unter 18 Jahren oder gegebenenfalls andere schutzbedürftige Gruppen haben wird.

(10)   Bei Anbietern von Hochrisiko-KI-Systemen, die den Anforderungen an interne Risikomanagementprozesse gemäß anderen einschlägigen Bestimmungen des Unionsrechts unterliegen, können die in den Absätzen 1 bis 9 enthaltenen Aspekte Bestandteil der nach diesem Recht festgelegten Risikomanagementverfahren sein oder mit diesen Verfahren kombiniert werden.