Bod odůvodnění 73

Vysoce rizikové systémy AI by měly být navrhovány a vyvíjeny tak, aby na jejich fungování mohly dohlížet fyzické osoby, aby bylo zajištěno, že budou používány zamýšleným způsobem, a aby jejich dopady byly řešeny během celého životního cyklu systému. Za tímto účelem by měl poskytovatel systému před uvedením systému na trh nebo do provozu stanovit vhodná opatření lidského dohledu. Tato opatření by případně měla zajistit zejména, aby byla do systému zabudována provozní omezení, která samotný systém není schopen překonat a která reagují na lidskou obsluhu, a aby fyzické osoby, které byly lidským dohledem pověřeny, měly odbornou způsobilost, odbornou přípravu a pravomoci nezbytné k výkonu této funkce. Je rovněž nezbytné zajistit, aby vysoce rizikové systémy AI případně zahrnovaly mechanismy, které vedou a informují fyzickou osobu, jež byla lidským dohledem pověřena, aby mohla činit informovaná rozhodnutí, zda, kdy a jak zasáhnout, aby se zabránilo negativním důsledkům nebo rizikům, nebo systém zastavit, pokud nefunguje tak, jak má. Vzhledem k závažným důsledkům pro konkrétní osoby v případě nesprávné shody některých systémů biometrické identifikace je vhodné stanovit požadavek na posílený lidský dohled nad těmito systémy, aby zavádějící subjekt nemohl přijmout žádné opatření nebo rozhodnutí na základě identifikace vyplývající ze systému, pokud ji samostatně neověřily a nepotvrdily alespoň dvě fyzické osoby. Těmito osobami by mohli být zástupci jednoho nebo více subjektů a mohla by mezi ně patřit osoba, která systém provozuje nebo používá. Tento požadavek by neměl představovat zbytečnou zátěž nebo zdržení a mohlo by postačovat, aby byla samostatná ověření různými osobami automaticky zaznamenávána v protokolech generovaných systémem. Vzhledem ke zvláštnostem oblastí vymáhání práva, migrace, ochrany hranic a azylu by se tento požadavek neměl uplatňovat v případech, kdy právo Unie nebo vnitrostátní právo považuje uplatňování tohoto požadavku za nepřiměřené.

Vysokorizikové systémy AI by mali byť dizajnované a vyvinuté tak, aby fyzické osoby mohli dohliadať na ich fungovanie, zabezpečiť, aby sa používali podľa zámeru a aby sa ich vplyvy riešili počas životného cyklu systému. Na tento účel by mal poskytovateľ systému určiť pred jeho uvedením na trh alebo do prevádzky vhodné opatrenia na zabezpečenie ľudského dohľadu. Takýmito opatreniami by sa malo prípadne zaručiť najmä to, že do systému budú zabudované prevádzkové obmedzenia, ktoré samotný systém nedokáže potlačiť, a že systém bude reagovať na ľudského operátora a fyzické osoby, ktorým bol zverený ľudský dohľad, budú mať potrebnú spôsobilosť, odbornú prípravu a právomoc vykonávať túto úlohu. Takisto je podľa potreby nevyhnutné zabezpečiť, aby vysokorizikové systémy AI zahŕňali mechanizmy na usmernenie a informovanie fyzickej osoby, ktorej bol pridelený ľudský dohľad, aby mohla prijímať informované rozhodnutia, či, kedy a ako zasiahnuť s cieľom vyhnúť sa negatívnym dôsledkom alebo rizikám, alebo zastaviť systém, ak nefunguje tak, ako sa plánovalo. Vzhľadom na významné dôsledky pre osoby v prípade nesprávneho stanovenia zhody určitými systémami biometrickej identifikácie je vhodné stanoviť požiadavku posilneného ľudského dohľadu nad týmito systémami, aby nasadzujúci subjekt nemohol prijať žiadne opatrenie ani rozhodnutie na základe identifikácie vyplývajúcej zo systému, pokiaľ to samostatne neoverili a nepotvrdili aspoň dve fyzické osoby. Tieto osoby by mohli byť z jedného alebo viacerých subjektov a mohli by zahŕňať osobu, ktorá prevádzkuje alebo používa systém. Táto požiadavka by nemala spôsobovať zbytočnú záťaž alebo oneskorenia a mohlo by stačiť, aby sa samostatné overenia uvedenými týmito jednotlivými osobami automaticky zaznamenávali do logov generovaných systémom. Vzhľadom na osobitosti oblastí presadzovania práva, migrácie, kontroly hraníc a azylu by sa táto požiadavka nemala uplatňovať, keď sa podľa práva Únie alebo vnútroštátneho práva uplatňovanie uvedenej požiadavky považuje za neprimerané.