Human oversight

1.   High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.

2.   Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.

3.   The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:

(a)	measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;

(b)	measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.

4.   For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:

(a)	to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;

(b)	to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;

(c)	to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;

(d)	to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;

(e)	to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.

5.   For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority.

The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.

1.   Vysokorizikové systémy AI musia byť dizajnované a vyvinuté tak, aby nad nimi počas obdobia ich používania mohli fyzické osoby vykonávať účinný dohľad, a to aj pomocou vhodných nástrojov rozhrania človek – stroj.

2.   Ľudský dohľad sa zameriava na prevenciu alebo minimalizáciu rizík pre zdravie, bezpečnosť alebo základné práva, ktoré môžu vzniknúť pri používaní vysokorizikového systému AI v súlade so zamýšľaným účelom alebo za podmienok odôvodnene predvídateľného nesprávneho použitia, najmä ak takéto riziká pretrvávajú napriek uplatňovaniu iných požiadaviek stanovených v tomto oddiele.

3.   Opatrenia dohľadu musia byť primerané rizikám, úrovni autonómnosti a kontextu používania vysokorizikového systému AI a zabezpečia sa jedným alebo oboma z týchto druhov opatrení:

a)	opatrenia, ktoré identifikuje poskytovateľ, a ak je to technicky uskutočniteľné, začlení ich do vysokorizikového systému AI pred jeho uvedením na trh alebo do prevádzky;

b)	opatrenia, ktoré identifikuje poskytovateľ pred uvedením vysokorizikového systému AI na trh alebo do prevádzky a ktoré môže zaviesť nasadzujúci subjekt.

4.   Na účely vykonávania odsekov 1, 2 a 3 sa vysokorizikový systém AI poskytuje nasadzujúcemu subjektu takým spôsobom, aby fyzickým osobám, ktorým je zverený ľudský dohľad, umožňoval podľa potreby a primerane:

a)	riadne pochopiť príslušné kapacity a obmedzenia vysokorizikového systému AI a byť schopný riadne monitorovať jeho prevádzku, a to aj s cieľom odhaľovať a riešiť anomálie, poruchy a neočakávaný výkon;

b)

byť si neustále vedomý možnej tendencie automatického spoliehania sa alebo nadmerného spoliehania sa na výstupy vytvorené vysokorizikovým systémom AI (ďalej len „náchylnosť k automatizácii“), a to najmä v prípade vysokorizikových systémov AI používaných na poskytovanie informácií alebo odporúčaní pre rozhodnutia, ktoré majú prijať fyzické osoby;

c)	správne interpretovať výstupy vysokorizikového systému AI, s prihliadnutím napríklad na dostupné interpretačné nástroje a metódy;

d)	v akejkoľvek konkrétnej situácii rozhodnúť, že sa vysokorizikový systém AI nepoužije alebo sa výstup vysokorizikového systému AI inak nezohľadní, potlačí alebo zvráti;

e)	zasiahnuť do prevádzky vysokorizikového systému AI alebo prerušiť systém pomocou tlačidla „stop“ alebo podobným postupom, ktorý umožňuje zastaviť systém v bezpečnom stave.

5.   V prípade vysokorizikových systémov AI uvedených v prílohe III bode 1 písm. a) musia byť opatrenia podľa odseku 3 tohto článku také, aby sa navyše zabezpečilo, že nasadzujúci subjekt na základe identifikácie vyplývajúcej zo systému nekoná ani neprijme žiadne rozhodnutie, pokiaľ takáto identifikácia nebola zvlášť overená a potvrdená aspoň dvoma fyzickými osobami, ktoré majú potrebnú spôsobilosť, odbornú prípravu a právomoc.

Požiadavka na samostatné overenie aspoň dvoma fyzickými osobami sa nevzťahuje na vysokorizikové systémy AI používané na účely presadzovania práva, migrácie, kontroly hraníc alebo azylu, keď sa podľa práva Únie alebo vnútroštátneho práva uplatňovanie tejto požiadavky považuje za neprimerané.