Supervisión humana

1.   Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que puedan ser vigilados de manera efectiva por personas físicas durante el período que estén en uso, lo que incluye dotarlos de herramientas de interfaz humano-máquina adecuadas.

2.   El objetivo de la supervisión humana será prevenir o reducir al mínimo los riesgos para la salud, la seguridad o los derechos fundamentales que pueden surgir cuando se utiliza un sistema de IA de alto riesgo conforme a su finalidad prevista o cuando se le da un uso indebido razonablemente previsible, en particular cuando dichos riesgos persistan a pesar de la aplicación de otros requisitos establecidos en la presente sección.

3.   Las medidas de supervisión serán proporcionales a los riesgos, al nivel de autonomía y al contexto de uso del sistema de IA de alto riesgo, y se garantizarán bien mediante uno de los siguientes tipos de medidas, bien mediante ambos:

a)	las medidas que el proveedor defina y que integre, cuando sea técnicamente viable, en el sistema de IA de alto riesgo antes de su introducción en el mercado o su puesta en servicio;

b)	las medidas que el proveedor defina antes de la introducción del sistema de IA de alto riesgo en el mercado o de su puesta en servicio y que sean adecuadas para que las ponga en práctica el responsable del despliegue.

4.   A efectos de la puesta en práctica de lo dispuesto en los apartados 1, 2 y 3, el sistema de IA de alto riesgo se ofrecerá al responsable del despliegue de tal modo que las personas físicas a quienes se encomiende la supervisión humana puedan, según proceda y de manera proporcionada a:

a)	entender adecuadamente las capacidades y limitaciones pertinentes del sistema de IA de alto riesgo y poder vigilar debidamente su funcionamiento, por ejemplo, con vistas a detectar y resolver anomalías, problemas de funcionamiento y comportamientos inesperados;

b)

ser conscientes de la posible tendencia a confiar automáticamente o en exceso en los resultados de salida generados por un sistema de IA de alto riesgo («sesgo de automatización»), en particular con aquellos sistemas que se utilizan para aportar información o recomendaciones con el fin de que personas físicas adopten una decisión;

c)	interpretar correctamente los resultados de salida del sistema de IA de alto riesgo, teniendo en cuenta, por ejemplo, los métodos y herramientas de interpretación disponibles;

d)	decidir, en cualquier situación concreta, no utilizar el sistema de IA de alto riesgo o descartar, invalidar o revertir los resultados de salida que este genere;

e)	intervenir en el funcionamiento del sistema de IA de alto riesgo o interrumpir el sistema pulsando un botón de parada o mediante un procedimiento similar que permita que el sistema se detenga de forma segura.

5.   En el caso de los sistemas de IA de alto riesgo mencionados en el anexo III, punto 1, letra a), las medidas a que se refiere el apartado 3 del presente artículo garantizarán, además, que el responsable del despliegue no actúe ni tome ninguna decisión basándose en la identificación generada por el sistema, salvo si al menos dos personas físicas con la competencia, formación y autoridad necesarias han verificado y confirmado por separado dicha identificación.

El requisito de la verificación por parte de al menos dos personas físicas por separado no se aplicará a los sistemas de IA de alto riesgo utilizados con fines de garantía del cumplimiento del Derecho, de migración, de control fronterizo o de asilo cuando el Derecho nacional o de la Unión considere que la aplicación de este requisito es desproporcionada.

1.   Vysokorizikové systémy AI musia byť dizajnované a vyvinuté tak, aby nad nimi počas obdobia ich používania mohli fyzické osoby vykonávať účinný dohľad, a to aj pomocou vhodných nástrojov rozhrania človek – stroj.

2.   Ľudský dohľad sa zameriava na prevenciu alebo minimalizáciu rizík pre zdravie, bezpečnosť alebo základné práva, ktoré môžu vzniknúť pri používaní vysokorizikového systému AI v súlade so zamýšľaným účelom alebo za podmienok odôvodnene predvídateľného nesprávneho použitia, najmä ak takéto riziká pretrvávajú napriek uplatňovaniu iných požiadaviek stanovených v tomto oddiele.

3.   Opatrenia dohľadu musia byť primerané rizikám, úrovni autonómnosti a kontextu používania vysokorizikového systému AI a zabezpečia sa jedným alebo oboma z týchto druhov opatrení:

a)	opatrenia, ktoré identifikuje poskytovateľ, a ak je to technicky uskutočniteľné, začlení ich do vysokorizikového systému AI pred jeho uvedením na trh alebo do prevádzky;

b)	opatrenia, ktoré identifikuje poskytovateľ pred uvedením vysokorizikového systému AI na trh alebo do prevádzky a ktoré môže zaviesť nasadzujúci subjekt.

4.   Na účely vykonávania odsekov 1, 2 a 3 sa vysokorizikový systém AI poskytuje nasadzujúcemu subjektu takým spôsobom, aby fyzickým osobám, ktorým je zverený ľudský dohľad, umožňoval podľa potreby a primerane:

a)	riadne pochopiť príslušné kapacity a obmedzenia vysokorizikového systému AI a byť schopný riadne monitorovať jeho prevádzku, a to aj s cieľom odhaľovať a riešiť anomálie, poruchy a neočakávaný výkon;

b)

byť si neustále vedomý možnej tendencie automatického spoliehania sa alebo nadmerného spoliehania sa na výstupy vytvorené vysokorizikovým systémom AI (ďalej len „náchylnosť k automatizácii“), a to najmä v prípade vysokorizikových systémov AI používaných na poskytovanie informácií alebo odporúčaní pre rozhodnutia, ktoré majú prijať fyzické osoby;

c)	správne interpretovať výstupy vysokorizikového systému AI, s prihliadnutím napríklad na dostupné interpretačné nástroje a metódy;

d)	v akejkoľvek konkrétnej situácii rozhodnúť, že sa vysokorizikový systém AI nepoužije alebo sa výstup vysokorizikového systému AI inak nezohľadní, potlačí alebo zvráti;

e)	zasiahnuť do prevádzky vysokorizikového systému AI alebo prerušiť systém pomocou tlačidla „stop“ alebo podobným postupom, ktorý umožňuje zastaviť systém v bezpečnom stave.

5.   V prípade vysokorizikových systémov AI uvedených v prílohe III bode 1 písm. a) musia byť opatrenia podľa odseku 3 tohto článku také, aby sa navyše zabezpečilo, že nasadzujúci subjekt na základe identifikácie vyplývajúcej zo systému nekoná ani neprijme žiadne rozhodnutie, pokiaľ takáto identifikácia nebola zvlášť overená a potvrdená aspoň dvoma fyzickými osobami, ktoré majú potrebnú spôsobilosť, odbornú prípravu a právomoc.

Požiadavka na samostatné overenie aspoň dvoma fyzickými osobami sa nevzťahuje na vysokorizikové systémy AI používané na účely presadzovania práva, migrácie, kontroly hraníc alebo azylu, keď sa podľa práva Únie alebo vnútroštátneho práva uplatňovanie tejto požiadavky považuje za neprimerané.