Considerando 73

I sistemi di IA ad alto rischio dovrebbero essere progettati e sviluppati in modo da consentire alle persone fisiche di sorvegliarne il funzionamento, garantire che siano utilizzati come previsto e che i loro impatti siano affrontati durante il ciclo di vita del sistema. Il fornitore del sistema dovrebbe a tal fine individuare misure di sorveglianza umana adeguate prima dell'immissione del sistema sul mercato o della sua messa in servizio. Tali misure dovrebbero in particolare garantire, ove opportuno, che il sistema sia soggetto a vincoli operativi intrinseci che il sistema stesso non può annullare e che risponda all'operatore umano, e che le persone fisiche alle quali è stata affidata la sorveglianza umana dispongano delle competenze, della formazione e dell'autorità necessarie per svolgere tale ruolo. È inoltre essenziale, se del caso, garantire che i sistemi di IA ad alto rischio includano meccanismi per guidare e informare la persona fisica alla quale è stata affidata la sorveglianza umana affinché prenda decisioni informate in merito alla possibilità, ai tempi e alle modalità di intervento, onde evitare conseguenze negative o rischi, oppure affinché arresti il sistema, qualora non funzionasse come previsto. Tenuto conto delle conseguenze significative per le persone in caso di una corrispondenza non corretta da parte di determinati sistemi di identificazione biometrica, è opportuno prevedere un requisito rafforzato di sorveglianza umana per tali sistemi, in modo che il deployer non possa adottare alcuna azione o decisione sulla base dell'identificazione risultante dal sistema, a meno che ciò non sia stato verificato e confermato separatamente da almeno due persone fisiche. Tali persone potrebbero provenire da una o più entità e comprendere la persona che gestisce o utilizza il sistema. Tale requisito non dovrebbe comportare oneri o ritardi inutili e potrebbe essere sufficiente che le verifiche separate da parte delle diverse persone siano automaticamente registrate nei log generati dal sistema. Date le specificità dei settori delle attività di contrasto, della migrazione, del controllo delle frontiere e dell'asilo, tale requisito non dovrebbe applicarsi se il diritto dell'Unione o nazionale ritenga sproporzionata la sua applicazione.

Vysoce rizikové systémy AI by měly být navrhovány a vyvíjeny tak, aby na jejich fungování mohly dohlížet fyzické osoby, aby bylo zajištěno, že budou používány zamýšleným způsobem, a aby jejich dopady byly řešeny během celého životního cyklu systému. Za tímto účelem by měl poskytovatel systému před uvedením systému na trh nebo do provozu stanovit vhodná opatření lidského dohledu. Tato opatření by případně měla zajistit zejména, aby byla do systému zabudována provozní omezení, která samotný systém není schopen překonat a která reagují na lidskou obsluhu, a aby fyzické osoby, které byly lidským dohledem pověřeny, měly odbornou způsobilost, odbornou přípravu a pravomoci nezbytné k výkonu této funkce. Je rovněž nezbytné zajistit, aby vysoce rizikové systémy AI případně zahrnovaly mechanismy, které vedou a informují fyzickou osobu, jež byla lidským dohledem pověřena, aby mohla činit informovaná rozhodnutí, zda, kdy a jak zasáhnout, aby se zabránilo negativním důsledkům nebo rizikům, nebo systém zastavit, pokud nefunguje tak, jak má. Vzhledem k závažným důsledkům pro konkrétní osoby v případě nesprávné shody některých systémů biometrické identifikace je vhodné stanovit požadavek na posílený lidský dohled nad těmito systémy, aby zavádějící subjekt nemohl přijmout žádné opatření nebo rozhodnutí na základě identifikace vyplývající ze systému, pokud ji samostatně neověřily a nepotvrdily alespoň dvě fyzické osoby. Těmito osobami by mohli být zástupci jednoho nebo více subjektů a mohla by mezi ně patřit osoba, která systém provozuje nebo používá. Tento požadavek by neměl představovat zbytečnou zátěž nebo zdržení a mohlo by postačovat, aby byla samostatná ověření různými osobami automaticky zaznamenávána v protokolech generovaných systémem. Vzhledem ke zvláštnostem oblastí vymáhání práva, migrace, ochrany hranic a azylu by se tento požadavek neměl uplatňovat v případech, kdy právo Unie nebo vnitrostátní právo považuje uplatňování tohoto požadavku za nepřiměřené.