Human oversight

1.   High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.

2.   Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.

3.   The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:

(a)	measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;

(b)	measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.

4.   For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:

(a)	to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;

(b)	to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;

(c)	to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;

(d)	to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;

(e)	to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.

5.   For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority.

The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.

1.   Vysoce rizikové systémy AI jsou navrženy a vyvinuty takovým způsobem, a to i pomocí vhodných nástrojů rozhraní člověk-stroj, aby na ně mohly během období, kdy jsou používány, účinně dohlížet fyzické osoby.

2.   Lidský dohled je zaměřen na prevenci nebo minimalizaci rizik pro zdraví, bezpečnost nebo základní práva, která mohou vzniknout při používání vysoce rizikového systému AI v souladu s jeho zamýšleným účelem nebo za podmínek rozumně předvídatelného nesprávného použití, zejména pokud tato rizika přetrvávají navzdory uplatňování dalších požadavků stanovených v tomto oddíle.

3.   Opatření dohledu jsou úměrná rizikům, úrovni autonomie a kontextu používání vysoce rizikového systému AI a jsou zajištěna jedním nebo oběma z těchto druhů opatření:

a)	opatření, která identifikuje poskytovatel, a pokud je to technicky proveditelné, zabuduje je do daného vysoce rizikového systému AI před jeho uvedením na trh nebo do provozu;

b)	opatření, která identifikuje poskytovatel před uvedením daného vysoce rizikového systému AI na trh nebo do provozu a u nichž je vhodné, aby je provedl zavádějící subjekt.

4.   Pro účely provádění odstavců 1, 2 a 3 je vysoce rizikový systém AI poskytován zavádějícímu subjektu způsobem, jenž fyzickým osobám pověřeným lidským dohledem umožňuje, pokud je to vhodné a přiměřené, aby:

a)	řádně porozuměly příslušným kapacitám a omezením daného vysoce rizikového systému AI a byly schopny náležitě monitorovat jeho fungování, a to i s ohledem na odhalování a řešení anomálií, dysfunkcí a neočekávaného výkonu;

b)

si nadále uvědomovaly možnou tendenci automatického nebo nadměrného spoléhání na výstup vysoce rizikového systému AI (dále jen „zkreslení způsobené automatizací“, v angličtině „automation bias“), zejména u vysoce rizikových systémů AI užívaných pro poskytování informací nebo doporučení pro rozhodování fyzických osob;

c)	správně interpretovaly výstup vysoce rizikového systému AI, například dostupné interpretační nástroje a metody;

d)	se v jakékoli konkrétní situaci rozhodly, že vysoce rizikový systém AI nepoužijí nebo výstup z vysoce rizikového systému AI jiným způsobem nezohlední, zruší nebo zvrátí;

e)	zasáhly do fungování vysoce rizikového systému AI nebo jej přerušily tlačítkem „stop“ nebo podobným postupem, který umožní systém zastavit v bezpečném módu.

5.   U vysoce rizikových systémů AI uvedených v bodě 1 písm. a) přílohy III jsou opatření uvedená v odstavci 3 tohoto článku taková, aby navíc zajišťovala, že na základě identifikace vyplývající z tohoto systému neprovede zavádějící subjekt žádné kroky ani rozhodnutí, pokud tato identifikace nebude samostatně ověřena a potvrzena alespoň dvěma fyzickými osobami, které disponují nezbytnou odbornou způsobilostí, odbornou přípravou a pravomocí.

Požadavek na samostatné ověření nejméně dvěma fyzickými osobami se nevztahuje na vysoce rizikové systémy AI používané pro účely vymáhání práva, migrace, ochrany hranic nebo azylu, pokud unijní nebo vnitrostátní právo považuje uplatňování tohoto požadavku za nepřiměřené.