Recital 73

High-risk AI systems should be designed and developed in such a way that natural persons can oversee their functioning, ensure that they are used as intended and that their impacts are addressed over the system’s lifecycle. To that end, appropriate human oversight measures should be identified by the provider of the system before its placing on the market or putting into service. In particular, where appropriate, such measures should guarantee that the system is subject to in-built operational constraints that cannot be overridden by the system itself and is responsive to the human operator, and that the natural persons to whom human oversight has been assigned have the necessary competence, training and authority to carry out that role. It is also essential, as appropriate, to ensure that high-risk AI systems include mechanisms to guide and inform a natural person to whom human oversight has been assigned to make informed decisions if, when and how to intervene in order to avoid negative consequences or risks, or stop the system if it does not perform as intended. Considering the significant consequences for persons in the case of an incorrect match by certain biometric identification systems, it is appropriate to provide for an enhanced human oversight requirement for those systems so that no action or decision may be taken by the deployer on the basis of the identification resulting from the system unless this has been separately verified and confirmed by at least two natural persons. Those persons could be from one or more entities and include the person operating or using the system. This requirement should not pose unnecessary burden or delays and it could be sufficient that the separate verifications by the different persons are automatically recorded in the logs generated by the system. Given the specificities of the areas of law enforcement, migration, border control and asylum, this requirement should not apply where Union or national law considers the application of that requirement to be disproportionate.

Vysokorizikové systémy AI by mali byť dizajnované a vyvinuté tak, aby fyzické osoby mohli dohliadať na ich fungovanie, zabezpečiť, aby sa používali podľa zámeru a aby sa ich vplyvy riešili počas životného cyklu systému. Na tento účel by mal poskytovateľ systému určiť pred jeho uvedením na trh alebo do prevádzky vhodné opatrenia na zabezpečenie ľudského dohľadu. Takýmito opatreniami by sa malo prípadne zaručiť najmä to, že do systému budú zabudované prevádzkové obmedzenia, ktoré samotný systém nedokáže potlačiť, a že systém bude reagovať na ľudského operátora a fyzické osoby, ktorým bol zverený ľudský dohľad, budú mať potrebnú spôsobilosť, odbornú prípravu a právomoc vykonávať túto úlohu. Takisto je podľa potreby nevyhnutné zabezpečiť, aby vysokorizikové systémy AI zahŕňali mechanizmy na usmernenie a informovanie fyzickej osoby, ktorej bol pridelený ľudský dohľad, aby mohla prijímať informované rozhodnutia, či, kedy a ako zasiahnuť s cieľom vyhnúť sa negatívnym dôsledkom alebo rizikám, alebo zastaviť systém, ak nefunguje tak, ako sa plánovalo. Vzhľadom na významné dôsledky pre osoby v prípade nesprávneho stanovenia zhody určitými systémami biometrickej identifikácie je vhodné stanoviť požiadavku posilneného ľudského dohľadu nad týmito systémami, aby nasadzujúci subjekt nemohol prijať žiadne opatrenie ani rozhodnutie na základe identifikácie vyplývajúcej zo systému, pokiaľ to samostatne neoverili a nepotvrdili aspoň dve fyzické osoby. Tieto osoby by mohli byť z jedného alebo viacerých subjektov a mohli by zahŕňať osobu, ktorá prevádzkuje alebo používa systém. Táto požiadavka by nemala spôsobovať zbytočnú záťaž alebo oneskorenia a mohlo by stačiť, aby sa samostatné overenia uvedenými týmito jednotlivými osobami automaticky zaznamenávali do logov generovaných systémom. Vzhľadom na osobitosti oblastí presadzovania práva, migrácie, kontroly hraníc a azylu by sa táto požiadavka nemala uplatňovať, keď sa podľa práva Únie alebo vnútroštátneho práva uplatňovanie uvedenej požiadavky považuje za neprimerané.