Lidský dohled

1.   Vysoce rizikové systémy AI jsou navrženy a vyvinuty takovým způsobem, a to i pomocí vhodných nástrojů rozhraní člověk-stroj, aby na ně mohly během období, kdy jsou používány, účinně dohlížet fyzické osoby.

2.   Lidský dohled je zaměřen na prevenci nebo minimalizaci rizik pro zdraví, bezpečnost nebo základní práva, která mohou vzniknout při používání vysoce rizikového systému AI v souladu s jeho zamýšleným účelem nebo za podmínek rozumně předvídatelného nesprávného použití, zejména pokud tato rizika přetrvávají navzdory uplatňování dalších požadavků stanovených v tomto oddíle.

3.   Opatření dohledu jsou úměrná rizikům, úrovni autonomie a kontextu používání vysoce rizikového systému AI a jsou zajištěna jedním nebo oběma z těchto druhů opatření:

a)	opatření, která identifikuje poskytovatel, a pokud je to technicky proveditelné, zabuduje je do daného vysoce rizikového systému AI před jeho uvedením na trh nebo do provozu;

b)	opatření, která identifikuje poskytovatel před uvedením daného vysoce rizikového systému AI na trh nebo do provozu a u nichž je vhodné, aby je provedl zavádějící subjekt.

4.   Pro účely provádění odstavců 1, 2 a 3 je vysoce rizikový systém AI poskytován zavádějícímu subjektu způsobem, jenž fyzickým osobám pověřeným lidským dohledem umožňuje, pokud je to vhodné a přiměřené, aby:

a)	řádně porozuměly příslušným kapacitám a omezením daného vysoce rizikového systému AI a byly schopny náležitě monitorovat jeho fungování, a to i s ohledem na odhalování a řešení anomálií, dysfunkcí a neočekávaného výkonu;

b)

si nadále uvědomovaly možnou tendenci automatického nebo nadměrného spoléhání na výstup vysoce rizikového systému AI (dále jen „zkreslení způsobené automatizací“, v angličtině „automation bias“), zejména u vysoce rizikových systémů AI užívaných pro poskytování informací nebo doporučení pro rozhodování fyzických osob;

c)	správně interpretovaly výstup vysoce rizikového systému AI, například dostupné interpretační nástroje a metody;

d)	se v jakékoli konkrétní situaci rozhodly, že vysoce rizikový systém AI nepoužijí nebo výstup z vysoce rizikového systému AI jiným způsobem nezohlední, zruší nebo zvrátí;

e)	zasáhly do fungování vysoce rizikového systému AI nebo jej přerušily tlačítkem „stop“ nebo podobným postupem, který umožní systém zastavit v bezpečném módu.

5.   U vysoce rizikových systémů AI uvedených v bodě 1 písm. a) přílohy III jsou opatření uvedená v odstavci 3 tohoto článku taková, aby navíc zajišťovala, že na základě identifikace vyplývající z tohoto systému neprovede zavádějící subjekt žádné kroky ani rozhodnutí, pokud tato identifikace nebude samostatně ověřena a potvrzena alespoň dvěma fyzickými osobami, které disponují nezbytnou odbornou způsobilostí, odbornou přípravou a pravomocí.

Požadavek na samostatné ověření nejméně dvěma fyzickými osobami se nevztahuje na vysoce rizikové systémy AI používané pro účely vymáhání práva, migrace, ochrany hranic nebo azylu, pokud unijní nebo vnitrostátní právo považuje uplatňování tohoto požadavku za nepřiměřené.

1.   Vysokorizikové systémy AI musia byť dizajnované a vyvinuté tak, aby nad nimi počas obdobia ich používania mohli fyzické osoby vykonávať účinný dohľad, a to aj pomocou vhodných nástrojov rozhrania človek – stroj.

2.   Ľudský dohľad sa zameriava na prevenciu alebo minimalizáciu rizík pre zdravie, bezpečnosť alebo základné práva, ktoré môžu vzniknúť pri používaní vysokorizikového systému AI v súlade so zamýšľaným účelom alebo za podmienok odôvodnene predvídateľného nesprávneho použitia, najmä ak takéto riziká pretrvávajú napriek uplatňovaniu iných požiadaviek stanovených v tomto oddiele.

3.   Opatrenia dohľadu musia byť primerané rizikám, úrovni autonómnosti a kontextu používania vysokorizikového systému AI a zabezpečia sa jedným alebo oboma z týchto druhov opatrení:

a)	opatrenia, ktoré identifikuje poskytovateľ, a ak je to technicky uskutočniteľné, začlení ich do vysokorizikového systému AI pred jeho uvedením na trh alebo do prevádzky;

b)	opatrenia, ktoré identifikuje poskytovateľ pred uvedením vysokorizikového systému AI na trh alebo do prevádzky a ktoré môže zaviesť nasadzujúci subjekt.

4.   Na účely vykonávania odsekov 1, 2 a 3 sa vysokorizikový systém AI poskytuje nasadzujúcemu subjektu takým spôsobom, aby fyzickým osobám, ktorým je zverený ľudský dohľad, umožňoval podľa potreby a primerane:

a)	riadne pochopiť príslušné kapacity a obmedzenia vysokorizikového systému AI a byť schopný riadne monitorovať jeho prevádzku, a to aj s cieľom odhaľovať a riešiť anomálie, poruchy a neočakávaný výkon;

b)

byť si neustále vedomý možnej tendencie automatického spoliehania sa alebo nadmerného spoliehania sa na výstupy vytvorené vysokorizikovým systémom AI (ďalej len „náchylnosť k automatizácii“), a to najmä v prípade vysokorizikových systémov AI používaných na poskytovanie informácií alebo odporúčaní pre rozhodnutia, ktoré majú prijať fyzické osoby;

c)	správne interpretovať výstupy vysokorizikového systému AI, s prihliadnutím napríklad na dostupné interpretačné nástroje a metódy;

d)	v akejkoľvek konkrétnej situácii rozhodnúť, že sa vysokorizikový systém AI nepoužije alebo sa výstup vysokorizikového systému AI inak nezohľadní, potlačí alebo zvráti;

e)	zasiahnuť do prevádzky vysokorizikového systému AI alebo prerušiť systém pomocou tlačidla „stop“ alebo podobným postupom, ktorý umožňuje zastaviť systém v bezpečnom stave.

5.   V prípade vysokorizikových systémov AI uvedených v prílohe III bode 1 písm. a) musia byť opatrenia podľa odseku 3 tohto článku také, aby sa navyše zabezpečilo, že nasadzujúci subjekt na základe identifikácie vyplývajúcej zo systému nekoná ani neprijme žiadne rozhodnutie, pokiaľ takáto identifikácia nebola zvlášť overená a potvrdená aspoň dvoma fyzickými osobami, ktoré majú potrebnú spôsobilosť, odbornú prípravu a právomoc.

Požiadavka na samostatné overenie aspoň dvoma fyzickými osobami sa nevzťahuje na vysokorizikové systémy AI používané na účely presadzovania práva, migrácie, kontroly hraníc alebo azylu, keď sa podľa práva Únie alebo vnútroštátneho práva uplatňovanie tejto požiadavky považuje za neprimerané.