Systém řízení rizik

1.   Ve vztahu k vysoce rizikovým systémům AI je zaveden, uplatňován, zdokumentován a udržován systém řízení rizik.

2.   Systém řízení rizik je chápán jako nepřetržitý opakující se proces plánovaný a prováděný v rámci celého životního cyklu vysoce rizikového systému AI, který vyžaduje pravidelný systematický přezkum a aktualizaci. Zahrnuje následující kroky:

a)	identifikaci a analýzu známých a rozumně předvídatelných rizik, která může vysoce rizikový systém AI používaný v souladu se zamýšleným účelem představovat pro zdraví, bezpečnost nebo základní práva;

b)	odhad a vyhodnocení rizik, která mohou vzniknout, když je vysoce rizikový systém AI používán v souladu se zamýšleným účelem a za podmínek rozumně předvídatelného nesprávného použití;

c)	hodnocení dalších rizik, která mohou potenciálně vzniknout, na základě analýzy shromážděných údajů ze systému monitorování po uvedení na trh ve smyslu článku 72;

d)	přijetí vhodných a cílených opatření k řízení rizik, jež jsou navržena tak, aby řešila rizika zjištěná podle písmene a).

3.   Rizika uvedená v tomto článku zahrnují pouze rizika, která lze přiměřeně zmírnit nebo vyloučit vývojem nebo návrhem vysoce rizikového systému AI nebo poskytnutím odpovídajících technických informací.

4.   Opatření k řízení rizik uvedená v odst. 2 písm. d) náležitě zohledňují účinky a možnou interakci vyplývající z kombinovaného uplatňování požadavků stanovených v tomto oddíle s cílem účinněji minimalizovat rizika a současně dosáhnout vhodné rovnováhy při provádění opatření ke splnění těchto požadavků.

5.   Opatření k řízení rizik uvedená v odst. 2 písm. d) musí být taková, aby bylo příslušné zbytkové riziko spojené s každým nebezpečím a rovněž celkové zbytkové riziko vysoce rizikových systémů AI považováno za přijatelné.

Při určování nejvhodnějších opatření k řízení rizik je třeba zajistit:

a)	vyloučení nebo snížení rizik zjištěných a vyhodnocených podle odstavce 2, pokud možno prostřednictvím technicky proveditelného návrhu a vývoje vysoce rizikového systému AI;

b)	ve vhodných případech zavedení odpovídajících zmírňujících a kontrolních opatření, jež řeší rizika, která nelze vyloučit;

c)	poskytování informací požadovaných podle článku 13 a v případě potřeby školení pro zavádějící subjekty.

Za účelem vyloučení nebo snížení rizik souvisejících s používáním daného vysoce rizikového systému AI by měly být náležitě zváženy technické znalosti, zkušenosti, vzdělání, odborná příprava, které se od zavádějícího subjektu očekává, a předpokládaný kontext, ve kterém má být systém používán.

6.   Vysoce rizikové systémy AI jsou testovány za účelem identifikace nejvhodnějších a cílených opatření k řízení rizik. Testování zajistí, aby vysoce rizikové systémy AI podávaly výkony konzistentní s jejich zamýšleným účelem a aby byly v souladu s požadavky stanovenými v tomto oddíle.

7.   Testovací postupy mohou zahrnovat testování v reálných podmínkách v souladu s článkem 60.

8.   Testování vysoce rizikových systémů AI se provádí podle potřeby kdykoli v průběhu celého procesu vývoje a v každém případě před uvedením na trh nebo do provozu. Testování probíhá na základě předem definovaných metrik a pravděpodobnostních prahových hodnot, které jsou pro zamýšlený účel vysoce rizikového systému AI vhodné.

9.   Při zavádění systému řízení rizik popsaného v odstavcích 1 až 7 poskytovatelé zváží, zda je s ohledem na jeho zamýšlený účel pravděpodobné, že vysoce rizikový systém AI bude mít nepříznivý dopad na osoby mladší 18 let a případně na jiné zranitelné skupiny.

10.   V případě poskytovatelů vysoce rizikových systémů AI, na něž se vztahují požadavky týkající se vnitřních procesů řízení rizik podle jiných příslušných ustanovení práva Unie, mohou být aspekty popsané v odstavcích 1 až 9 součástí postupů řízení rizik stanovených podle uvedeného práva nebo kombinovány s těmito postupy.

1.   Se establecerá, implantará, documentará y mantendrá un sistema de gestión de riesgos en relación con los sistemas de IA de alto riesgo.

2.   El sistema de gestión de riesgos se entenderá como un proceso iterativo continuo planificado y ejecutado durante todo el ciclo de vida de un sistema de IA de alto riesgo, que requerirá revisiones y actualizaciones sistemáticas periódicas. Constará de las siguientes etapas:

a)	la determinación y el análisis de los riesgos conocidos y previsibles que el sistema de IA de alto riesgo pueda plantear para la salud, la seguridad o los derechos fundamentales cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista;

b)	la estimación y la evaluación de los riesgos que podrían surgir cuando el sistema de IA de alto riesgo se utilice de conformidad con su finalidad prevista y cuando se le dé un uso indebido razonablemente previsible;

c)	la evaluación de otros riesgos que podrían surgir, a partir del análisis de los datos recogidos con el sistema de vigilancia poscomercialización a que se refiere el artículo 72;

d)	la adopción de medidas adecuadas y específicas de gestión de riesgos diseñadas para hacer frente a los riesgos detectados con arreglo a la letra a).

3.   Los riesgos a que se refiere el presente artículo son únicamente aquellos que pueden mitigarse o eliminarse razonablemente mediante el desarrollo o el diseño del sistema de IA de alto riesgo o el suministro de información técnica adecuada.

4.   Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), tendrán debidamente en cuenta los efectos y la posible interacción derivados de la aplicación combinada de los requisitos establecidos en la presente sección, con vistas a reducir al mínimo los riesgos de manera más eficaz al tiempo que se logra un equilibrio adecuado en la aplicación de las medidas para cumplir dichos requisitos.

5.   Las medidas de gestión de riesgos mencionadas en el apartado 2, letra d), considerarán aceptables los riesgos residuales pertinentes asociados a cada peligro, así como el riesgo residual general de los sistemas de IA de alto riesgo.

A la hora de determinar las medidas de gestión de riesgos más adecuadas, se procurará:

a)	eliminar o reducir los riesgos detectados y evaluados de conformidad con el apartado 2 en la medida en que sea técnicamente viable mediante un diseño y un desarrollo adecuados del sistema de IA de alto riesgo;

b)	implantar, cuando proceda, unas medidas de mitigación y control apropiadas que hagan frente a los riesgos que no puedan eliminarse;

c)	proporcionar la información requerida conforme al artículo 13 y, cuando proceda, impartir formación a los responsables del despliegue.

Con vistas a eliminar o reducir los riesgos asociados a la utilización del sistema de IA de alto riesgo, se tendrán debidamente en cuenta los conocimientos técnicos, la experiencia, la educación y la formación que se espera que posea el responsable del despliegue, así como el contexto en el que está previsto que se utilice el sistema.

6.   Los sistemas de IA de alto riesgo serán sometidos a pruebas destinadas a determinar cuáles son las medidas de gestión de riesgos más adecuadas y específicas. Dichas pruebas comprobarán que los sistemas de IA de alto riesgo funcionan de manera coherente con su finalidad prevista y cumplen los requisitos establecidos en la presente sección.

7.   Los procedimientos de prueba podrán incluir pruebas en condiciones reales de conformidad con el artículo 60.

8.   Las pruebas de los sistemas de IA de alto riesgo se realizarán, según proceda, en cualquier momento del proceso de desarrollo y, en todo caso, antes de su introducción en el mercado o puesta en servicio. Las pruebas se realizarán utilizando parámetros y umbrales de probabilidades previamente definidos que sean adecuados para la finalidad prevista del sistema de IA de alto riesgo.

9.   Cuando se implante el sistema de gestión de riesgos previsto en los apartados 1 a 7, los proveedores prestarán atención a si, en vista de su finalidad prevista, es probable que el sistema de IA de alto riesgo afecte negativamente a las personas menores de dieciocho años y, en su caso, a otros colectivos vulnerables.

10.   En el caso de los proveedores de sistemas de IA de alto riesgo que estén sujetos a requisitos relativos a procesos internos de gestión de riesgos con arreglo a otras disposiciones pertinentes del Derecho de la Unión, los aspectos previstos en los apartados 1 a 9 podrán formar parte de los procedimientos de gestión de riesgos establecidos con arreglo a dicho Derecho, o combinarse con ellos.