Considérant 73

Les systèmes d’IA à haut risque devraient être conçus et développés de manière à ce que les personnes physiques puissent superviser leur fonctionnement et veiller à ce qu’ils soient utilisés comme prévu et à ce que leurs incidences soient prises en compte tout au long de leur cycle de vie. À cette fin, des mesures appropriées de contrôle humain devraient être établies par le fournisseur du système avant sa mise sur le marché ou sa mise en service. En particulier, le cas échéant, de telles mesures devraient garantir que le système est soumis à des contraintes opérationnelles intégrées qui ne peuvent pas être ignorées par le système lui-même, que le système répond aux ordres de l’opérateur humain et que les personnes physiques auxquelles le contrôle humain a été confié ont les compétences, la formation et l’autorité nécessaires pour s’acquitter de ce rôle. Il est également essentiel, le cas échéant, de veiller à ce que les systèmes d’IA à haut risque comprennent des mécanismes destinés à guider et à informer une personne physique à laquelle le contrôle humain a été confié, afin qu’elle puisse décider en connaissance de cause s’il faut intervenir, à quel moment et de quelle manière, pour éviter des conséquences négatives ou des risques, ou arrêter le système s’il ne fonctionne pas comme prévu. Compte tenu des conséquences importantes pour les personnes en cas d’erreur dans les correspondances établies par certains systèmes d’identification biométrique, il convient de prévoir pour ces systèmes une exigence de contrôle humain accru, de manière qu’aucune mesure ou décision ne puisse être prise par le déployeur sur la base de l’identification obtenue par le système, à moins qu’elle n’ait été vérifiée et confirmée séparément par au moins deux personnes physiques. Ces personnes pourraient provenir d’une ou de plusieurs entités et compter parmi elles la personne qui fait fonctionner le système ou l’utilise. Cette exigence ne devrait pas entraîner de charges ou de retards inutiles, et il pourrait suffire que les vérifications effectuées séparément par les différentes personnes soient automatiquement enregistrées dans les journaux générés par le système. Compte tenu des spécificités des domaines que sont les activités répressives, la migration, les contrôles aux frontières et l’asile, cette exigence ne devrait pas s’appliquer lorsque le droit de l’Union ou le droit national considère que cette application est disproportionnée.

Vysoce rizikové systémy AI by měly být navrhovány a vyvíjeny tak, aby na jejich fungování mohly dohlížet fyzické osoby, aby bylo zajištěno, že budou používány zamýšleným způsobem, a aby jejich dopady byly řešeny během celého životního cyklu systému. Za tímto účelem by měl poskytovatel systému před uvedením systému na trh nebo do provozu stanovit vhodná opatření lidského dohledu. Tato opatření by případně měla zajistit zejména, aby byla do systému zabudována provozní omezení, která samotný systém není schopen překonat a která reagují na lidskou obsluhu, a aby fyzické osoby, které byly lidským dohledem pověřeny, měly odbornou způsobilost, odbornou přípravu a pravomoci nezbytné k výkonu této funkce. Je rovněž nezbytné zajistit, aby vysoce rizikové systémy AI případně zahrnovaly mechanismy, které vedou a informují fyzickou osobu, jež byla lidským dohledem pověřena, aby mohla činit informovaná rozhodnutí, zda, kdy a jak zasáhnout, aby se zabránilo negativním důsledkům nebo rizikům, nebo systém zastavit, pokud nefunguje tak, jak má. Vzhledem k závažným důsledkům pro konkrétní osoby v případě nesprávné shody některých systémů biometrické identifikace je vhodné stanovit požadavek na posílený lidský dohled nad těmito systémy, aby zavádějící subjekt nemohl přijmout žádné opatření nebo rozhodnutí na základě identifikace vyplývající ze systému, pokud ji samostatně neověřily a nepotvrdily alespoň dvě fyzické osoby. Těmito osobami by mohli být zástupci jednoho nebo více subjektů a mohla by mezi ně patřit osoba, která systém provozuje nebo používá. Tento požadavek by neměl představovat zbytečnou zátěž nebo zdržení a mohlo by postačovat, aby byla samostatná ověření různými osobami automaticky zaznamenávána v protokolech generovaných systémem. Vzhledem ke zvláštnostem oblastí vymáhání práva, migrace, ochrany hranic a azylu by se tento požadavek neměl uplatňovat v případech, kdy právo Unie nebo vnitrostátní právo považuje uplatňování tohoto požadavku za nepřiměřené.