Contrôle humain
Français
1. La conception et le développement des systèmes d’IA à haut risque permettent, notamment au moyen d’interfaces homme-machine appropriées, un contrôle effectif par des personnes physiques pendant leur période d’utilisation.
2. Le contrôle humain vise à prévenir ou à réduire au minimum les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent apparaître lorsqu’un système d’IA à haut risque est utilisé conformément à sa destination ou dans des conditions de mauvaise utilisation raisonnablement prévisible, en particulier lorsque de tels risques persistent malgré l’application d’autres exigences énoncées dans la présente section.
3. Les mesures de contrôle sont proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation du système d’IA à haut risque, et sont assurées au moyen d’un ou des deux types de mesures suivants:
a) |
des mesures identifiées et, lorsque cela est techniquement possible, intégrées par le fournisseur dans le système d’IA à haut risque avant la mise sur le marché ou la mise en service de ce dernier; |
b) |
des mesures identifiées par le fournisseur avant la mise sur le marché ou la mise en service du système d’IA à haut risque et qui se prêtent à une mise en œuvre par le déployeur. |
4. Aux fins de la mise en œuvre des dispositions des paragraphes 1, 2 et 3, le système d’IA à haut risque est fourni au déployeur de telle manière que les personnes physiques chargées d’effectuer un contrôle humain, dans la mesure où cela est approprié et proportionné, ont la possibilité:
a) |
de comprendre correctement les capacités et les limites pertinentes du système d’IA à haut risque et d’être en mesure de surveiller correctement son fonctionnement, y compris en vue de détecter et de traiter les anomalies, les dysfonctionnements et les performances inattendues; |
b) |
d’avoir conscience d’une éventuelle tendance à se fier automatiquement ou excessivement aux sorties produites par un système d’IA à haut risque (biais d’automatisation), en particulier pour les systèmes d’IA à haut risque utilisés pour fournir des informations ou des recommandations concernant les décisions à prendre par des personnes physiques; |
c) |
d’interpréter correctement les sorties du système d’IA à haut risque, compte tenu par exemple des outils et méthodes d’interprétation disponibles; |
d) |
de décider, dans une situation particulière, de ne pas utiliser le système d’IA à haut risque ou d’ignorer, remplacer ou inverser la sortie du système d’IA à haut risque; |
e) |
d’intervenir dans le fonctionnement du système d’IA à haut risque ou d’interrompre le système au moyen d’un bouton d’arrêt ou d’une procédure similaire permettant au système de s’arrêter de manière sécurisée. |
5. Pour les systèmes d’IA à haut risque visés à l’annexe III, point 1 a), les mesures prévues au paragraphe 3 du présent article sont de nature à garantir que, en outre, aucune mesure ou décision n’est prise par le déployeur sur la base de l’identification résultant du système sans vérification et confirmation distinctes de cette identification par au moins deux personnes physiques disposant des compétences, de la formation et de l’autorité nécessaires.
L’exigence d’une vérification distincte par au moins deux personnes physiques ne s’applique pas aux systèmes d’IA à haut risque utilisés à des fins répressives ou dans les domaines de la migration, des contrôles aux frontières ou de l’asile, lorsque le droit de l’Union ou le droit national considère que l’application de cette exigence est disproportionnée.
Čeština
1. Vysoce rizikové systémy AI jsou navrženy a vyvinuty takovým způsobem, a to i pomocí vhodných nástrojů rozhraní člověk-stroj, aby na ně mohly během období, kdy jsou používány, účinně dohlížet fyzické osoby.
2. Lidský dohled je zaměřen na prevenci nebo minimalizaci rizik pro zdraví, bezpečnost nebo základní práva, která mohou vzniknout při používání vysoce rizikového systému AI v souladu s jeho zamýšleným účelem nebo za podmínek rozumně předvídatelného nesprávného použití, zejména pokud tato rizika přetrvávají navzdory uplatňování dalších požadavků stanovených v tomto oddíle.
3. Opatření dohledu jsou úměrná rizikům, úrovni autonomie a kontextu používání vysoce rizikového systému AI a jsou zajištěna jedním nebo oběma z těchto druhů opatření:
a) |
opatření, která identifikuje poskytovatel, a pokud je to technicky proveditelné, zabuduje je do daného vysoce rizikového systému AI před jeho uvedením na trh nebo do provozu; |
b) |
opatření, která identifikuje poskytovatel před uvedením daného vysoce rizikového systému AI na trh nebo do provozu a u nichž je vhodné, aby je provedl zavádějící subjekt. |
4. Pro účely provádění odstavců 1, 2 a 3 je vysoce rizikový systém AI poskytován zavádějícímu subjektu způsobem, jenž fyzickým osobám pověřeným lidským dohledem umožňuje, pokud je to vhodné a přiměřené, aby:
a) |
řádně porozuměly příslušným kapacitám a omezením daného vysoce rizikového systému AI a byly schopny náležitě monitorovat jeho fungování, a to i s ohledem na odhalování a řešení anomálií, dysfunkcí a neočekávaného výkonu; |
b) |
si nadále uvědomovaly možnou tendenci automatického nebo nadměrného spoléhání na výstup vysoce rizikového systému AI (dále jen „zkreslení způsobené automatizací“, v angličtině „automation bias“), zejména u vysoce rizikových systémů AI užívaných pro poskytování informací nebo doporučení pro rozhodování fyzických osob; |
c) |
správně interpretovaly výstup vysoce rizikového systému AI, například dostupné interpretační nástroje a metody; |
d) |
se v jakékoli konkrétní situaci rozhodly, že vysoce rizikový systém AI nepoužijí nebo výstup z vysoce rizikového systému AI jiným způsobem nezohlední, zruší nebo zvrátí; |
e) |
zasáhly do fungování vysoce rizikového systému AI nebo jej přerušily tlačítkem „stop“ nebo podobným postupem, který umožní systém zastavit v bezpečném módu. |
5. U vysoce rizikových systémů AI uvedených v bodě 1 písm. a) přílohy III jsou opatření uvedená v odstavci 3 tohoto článku taková, aby navíc zajišťovala, že na základě identifikace vyplývající z tohoto systému neprovede zavádějící subjekt žádné kroky ani rozhodnutí, pokud tato identifikace nebude samostatně ověřena a potvrzena alespoň dvěma fyzickými osobami, které disponují nezbytnou odbornou způsobilostí, odbornou přípravou a pravomocí.
Požadavek na samostatné ověření nejméně dvěma fyzickými osobami se nevztahuje na vysoce rizikové systémy AI používané pro účely vymáhání práva, migrace, ochrany hranic nebo azylu, pokud unijní nebo vnitrostátní právo považuje uplatňování tohoto požadavku za nepřiměřené.