Human oversight

1.   High-risk AI systems shall be designed and developed in such a way, including with appropriate human-machine interface tools, that they can be effectively overseen by natural persons during the period in which they are in use.

2.   Human oversight shall aim to prevent or minimise the risks to health, safety or fundamental rights that may emerge when a high-risk AI system is used in accordance with its intended purpose or under conditions of reasonably foreseeable misuse, in particular where such risks persist despite the application of other requirements set out in this Section.

3.   The oversight measures shall be commensurate with the risks, level of autonomy and context of use of the high-risk AI system, and shall be ensured through either one or both of the following types of measures:

(a)	measures identified and built, when technically feasible, into the high-risk AI system by the provider before it is placed on the market or put into service;

(b)	measures identified by the provider before placing the high-risk AI system on the market or putting it into service and that are appropriate to be implemented by the deployer.

4.   For the purpose of implementing paragraphs 1, 2 and 3, the high-risk AI system shall be provided to the deployer in such a way that natural persons to whom human oversight is assigned are enabled, as appropriate and proportionate:

(a)	to properly understand the relevant capacities and limitations of the high-risk AI system and be able to duly monitor its operation, including in view of detecting and addressing anomalies, dysfunctions and unexpected performance;

(b)	to remain aware of the possible tendency of automatically relying or over-relying on the output produced by a high-risk AI system (automation bias), in particular for high-risk AI systems used to provide information or recommendations for decisions to be taken by natural persons;

(c)	to correctly interpret the high-risk AI system’s output, taking into account, for example, the interpretation tools and methods available;

(d)	to decide, in any particular situation, not to use the high-risk AI system or to otherwise disregard, override or reverse the output of the high-risk AI system;

(e)	to intervene in the operation of the high-risk AI system or interrupt the system through a ‘stop’ button or a similar procedure that allows the system to come to a halt in a safe state.

5.   For high-risk AI systems referred to in point 1(a) of Annex III, the measures referred to in paragraph 3 of this Article shall be such as to ensure that, in addition, no action or decision is taken by the deployer on the basis of the identification resulting from the system unless that identification has been separately verified and confirmed by at least two natural persons with the necessary competence, training and authority.

The requirement for a separate verification by at least two natural persons shall not apply to high-risk AI systems used for the purposes of law enforcement, migration, border control or asylum, where Union or national law considers the application of this requirement to be disproportionate.

1.   Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, w tym poprzez uwzględnienie odpowiednich narzędzi interfejsu człowiek-maszyna, aby w okresie ich wykorzystywania systemu AI mogły być skutecznie nadzorowane przez osoby fizyczne.

2.   Nadzór ze strony człowieka ma na celu zapobieganie ryzyku dla zdrowia, bezpieczeństwa lub praw podstawowych lub minimalizowanie takiego ryzyka, które może się pojawić, gdy system AI wysokiego ryzyka jest wykorzystywany zgodnie z jego przeznaczeniem lub w warunkach dającego się racjonalnie przewidzieć niewłaściwego wykorzystania, w szczególności gdy takie ryzyko utrzymuje się pomimo stosowania innych wymogów ustanowionych w niniejszej sekcji.

3.   Środki nadzoru muszą być współmierne do ryzyka, poziomu autonomii i kontekstu wykorzystywania danego systemu AI wysokiego ryzyka, a nadzór zapewnia się za pomocą co najmniej jednego z następujących rodzajów środków:

a)	środków określonych i wbudowanych, jeżeli jest to technicznie wykonalne, w system AI wysokiego ryzyka przez dostawcę przed wprowadzeniem systemu do obrotu lub oddaniem do użytku;

b)	środków określonych przez dostawcę przed wprowadzeniem systemu AI wysokiego ryzyka do obrotu lub oddaniem go do użytku i które to środki nadają się do wdrożenia przez podmiot stosujący.

4.   Do celów wykonania ust. 1, 2 i 3 system AI wysokiego ryzyka udostępnia się podmiotowi stosującemu w taki sposób, aby umożliwić osobom fizycznym, którym powierzono sprawowanie nadzoru ze strony człowieka, odpowiednio i proporcjonalnie:

a)	należyte zrozumienie odpowiednich możliwości i ograniczeń systemu AI wysokiego ryzyka oraz należyte monitorowanie jego działania, w tym w celu wykrywania anomalii, nieprawidłowego funkcjonowania i nieoczekiwanych wyników działania oraz zaradzeniu im w przypadku ich wystąpienia;

b)

pozostawanie świadomym potencjalnej tendencji do automatycznego polegania lub nadmiernego polegania na wyniku wytworzonym przez system AI wysokiego ryzyka (tzw. „błąd automatyzacji”), w szczególności w przypadku systemów AI wysokiego ryzyka wykorzystywanych do udzielania informacji lub zaleceń na potrzeby decyzji podejmowanych przez osoby fizyczne;

c)	prawidłową interpretację wyniku systemu AI wysokiego ryzyka, biorąc pod uwagę na przykład dostępne narzędzia i metody interpretacji;

d)	podjęcie decyzji, w każdej konkretnej sytuacji, o niekorzystaniu z systemu AI wysokiego ryzyka lub w inny sposób zignorowanie, unieważnienie lub odwrócenie wyniku systemu AI wysokiego ryzyka;

e)	ingerowanie w działanie systemu AI wysokiego ryzyka lub przerwanie działania systemu za pomocą przycisku „stop” lub podobnej procedury, która pozwala na zatrzymanie systemu w stanie bezpiecznym.

5.   W przypadku systemów AI wysokiego ryzyka, o których mowa w załączniku III pkt 1 lit. a), środki, o których mowa w ust. 3 niniejszego artykułu, muszą ponadto zapewniać, aby podmiot stosujący nie podejmował żadnego działania ani decyzji na podstawie identyfikacji będącej wynikiem działania systemu, jeżeli identyfikacji tej nie zweryfikowały ani nie potwierdziły odrębnie co najmniej dwie osoby fizyczne mające wymagane kompetencje, przeszkolenie i uprawnienia.

Wymóg odrębnej weryfikacji przez co najmniej dwie osoby fizyczne nie ma zastosowania do systemów AI wysokiego ryzyka wykorzystywanych do celów ścigania przestępstw, migracji, kontroli granicznej lub azylu, w przypadkach gdy prawo Unii lub prawo krajowe uznaje stosowanie tego wymogu za nieproporcjonalne.