Amendments to Annex III
English
1. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend Annex III by adding or modifying use-cases of high-risk AI systems where both of the following conditions are fulfilled:
|
(a) |
the AI systems are intended to be used in any of the areas listed in Annex III; |
|
(b) |
the AI systems pose a risk of harm to health and safety, or an adverse impact on fundamental rights, and that risk is equivalent to, or greater than, the risk of harm or of adverse impact posed by the high-risk AI systems already referred to in Annex III. |
2. When assessing the condition under paragraph 1, point (b), the Commission shall take into account the following criteria:
|
(a) |
the intended purpose of the AI system; |
|
(b) |
the extent to which an AI system has been used or is likely to be used; |
|
(c) |
the nature and amount of the data processed and used by the AI system, in particular whether special categories of personal data are processed; |
|
(d) |
the extent to which the AI system acts autonomously and the possibility for a human to override a decision or recommendations that may lead to potential harm; |
|
(e) |
the extent to which the use of an AI system has already caused harm to health and safety, has had an adverse impact on fundamental rights or has given rise to significant concerns in relation to the likelihood of such harm or adverse impact, as demonstrated, for example, by reports or documented allegations submitted to national competent authorities or by other reports, as appropriate; |
|
(f) |
the potential extent of such harm or such adverse impact, in particular in terms of its intensity and its ability to affect multiple persons or to disproportionately affect a particular group of persons; |
|
(g) |
the extent to which persons who are potentially harmed or suffer an adverse impact are dependent on the outcome produced with an AI system, in particular because for practical or legal reasons it is not reasonably possible to opt-out from that outcome; |
|
(h) |
the extent to which there is an imbalance of power, or the persons who are potentially harmed or suffer an adverse impact are in a vulnerable position in relation to the deployer of an AI system, in particular due to status, authority, knowledge, economic or social circumstances, or age; |
|
(i) |
the extent to which the outcome produced involving an AI system is easily corrigible or reversible, taking into account the technical solutions available to correct or reverse it, whereby outcomes having an adverse impact on health, safety or fundamental rights, shall not be considered to be easily corrigible or reversible; |
|
(j) |
the magnitude and likelihood of benefit of the deployment of the AI system for individuals, groups, or society at large, including possible improvements in product safety; |
|
(k) |
the extent to which existing Union law provides for:
|
3. The Commission is empowered to adopt delegated acts in accordance with Article 97 to amend the list in Annex III by removing high-risk AI systems where both of the following conditions are fulfilled:
|
(a) |
the high-risk AI system concerned no longer poses any significant risks to fundamental rights, health or safety, taking into account the criteria listed in paragraph 2; |
|
(b) |
the deletion does not decrease the overall level of protection of health, safety and fundamental rights under Union law. |
Français
1. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier l’annexe III en y ajoutant des cas d’utilisation de systèmes d’IA à haut risque, ou en les modifiant, lorsque les deux conditions suivantes sont remplies:
|
a) |
les systèmes d’IA sont destinés à être utilisés dans l’un des domaines énumérés à l’annexe III; |
|
b) |
les systèmes d’IA présentent un risque de préjudice pour la santé et la sécurité, ou un risque d’incidence négative sur les droits fondamentaux, et ce risque est équivalent ou supérieur au risque de préjudice ou d’incidence négative que présentent les systèmes d’IA à haut risque déjà visés à l’annexe III. |
2. Lorsqu’elle évalue les conditions visées au paragraphe 1, point b), la Commission tient compte des critères suivants:
|
a) |
la destination du système d’IA; |
|
b) |
la mesure dans laquelle un système d’IA a été utilisé ou est susceptible de l’être; |
|
c) |
la nature et la quantité des données traitées et utilisées par le système d’IA, en particulier le traitement ou l’absence de traitement des catégories particulières de données à caractère personnel; |
|
d) |
la mesure dans laquelle le système d’IA agit de manière autonome et la mesure dans laquelle l’homme peut intervenir pour annuler une décision ou des recommandations susceptibles de causer un préjudice potentiel; |
|
e) |
la mesure dans laquelle l’utilisation d’un système d’IA a déjà causé un préjudice à la santé et à la sécurité, a eu une incidence négative sur les droits fondamentaux ou a suscité de graves préoccupations quant à la probabilité de ce préjudice ou de cette incidence négative, tel que cela ressort, par exemple, des rapports ou allégations documentées soumis aux autorités nationales compétentes ou d’autres rapports, le cas échéant; |
|
f) |
l’ampleur potentielle d’un tel préjudice ou d’une telle incidence négative, notamment en ce qui concerne son intensité et sa capacité d’affecter plusieurs personnes ou d’affecter un groupe particulier de personnes de manière disproportionnée; |
|
g) |
la mesure dans laquelle les personnes ayant potentiellement subi un préjudice ou une incidence négative dépendent des résultats obtenus au moyen d’un système d’IA, notamment parce qu’il n’est pas raisonnablement possible, pour des raisons pratiques ou juridiques, de s’affranchir de ces résultats; |
|
h) |
la mesure dans laquelle il existe un déséquilibre de pouvoir, ou les personnes ayant potentiellement subi un préjudice ou une incidence négative se trouvent dans une situation vulnérable par rapport au déployeur d’un système d’IA, notamment en raison du statut, de l’autorité, de connaissances, de circonstances économiques ou sociales ou de l’âge; |
|
i) |
la mesure dans laquelle les résultats obtenus en utilisant un système d’IA sont facilement corrigibles ou réversibles, compte tenu des solutions techniques disponibles pour les corriger ou les inverser, les résultats qui ont une incidence négative sur la santé, la sécurité ou les droits fondamentaux ne devant pas être considérés comme facilement corrigibles ou réversibles; |
|
j) |
la probabilité que le déploiement du système d’IA présente des avantages pour certaines personnes, certains groupes de personnes ou la société dans son ensemble et la portée de ces avantages, y compris les améliorations éventuelles quant à la sécurité des produits; |
|
k) |
la mesure dans laquelle le droit existant de l’Union prévoit:
|
3. La Commission est habilitée à adopter des actes délégués conformément à l’article 97 pour modifier la liste figurant à l’annexe III en supprimant des systèmes d’IA à haut risque lorsque les deux conditions suivantes sont remplies:
|
a) |
le système d’IA à haut risque concerné ne présente plus de risques substantiels pour les droits fondamentaux, la santé ou la sécurité, compte tenu des critères énumérés au paragraphe 2; |
|
b) |
la suppression ne diminue pas le niveau global de protection de la santé, de la sécurité et des droits fondamentaux en vertu du droit de l’Union. |