Considérant 53

Il importe également de préciser qu’il peut exister des cas spécifiques dans lesquels les systèmes d’IA visés dans des domaines prédéfinis spécifiés dans le présent règlement ne présentent pas un risque important d’atteinte aux intérêts juridiques protégés dans ces domaines parce qu’ils n’ont pas d’incidence substantielle sur la prise de décision ou ne causent pas de préjudice important à ces intérêts. Aux fins du présent règlement, il convient d’entendre par système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision un système d’IA qui n’a pas d’incidence sur la substance et, partant, sur le résultat de la prise de décision, qu’elle soit humaine ou automatisée. Dans les cas où une ou plusieurs des conditions ci-après sont remplies, il pourrait s’agir d’un système d’IA qui n’a pas d’incidence substantielle sur le résultat de la prise de décision. La première de ces conditions devrait être que le système d’IA est destiné à accomplir une tâche procédurale étroite, comme transformer des données non structurées en données structurées, classer les documents entrants par catégories ou détecter les doublons parmi un grand nombre d’applications. Ces tâches sont par nature si étroites et limitées qu’elles ne présentent que des risques limités, qui ne sont pas exacerbés par une utilisation d’un système d’IA dans un contexte répertorié parmi les utilisations à haut risque dans la liste figurant en annexe du présent règlement. La deuxième condition devrait être que la tâche effectuée par le système d’IA est destinée à améliorer le résultat d’une activité humaine préalablement réalisée, susceptible d’être utile aux fins des utilisations à haut risque énumérées dans une annexe du présent règlement. Compte tenu de ces caractéristiques, le système d’IA n’ajoute qu’une couche supplémentaire à une activité humaine, ce qui présente par conséquent un risque réduit. Cette condition s’appliquerait par exemple aux systèmes d’IA destinés à améliorer la façon dont un document est rédigé, pour lui donner un ton professionnel ou un style académique ou pour l’adapter à un message de marque défini. La troisième condition devrait être que le système d’IA est destiné à détecter les constantes en matière de prise de décision ou les écarts par rapport aux constantes habituelles antérieures. Le risque serait réduit parce que l’utilisation du système d’IA intervient après la réalisation d’une évaluation humaine et n’est pas destinée à se substituer à celle-ci ni à l’influencer, sans examen humain approprié. Il s’agit par exemple des systèmes d’IA qui, compte tenu de certaines constantes habituelles observées chez un enseignant au niveau de la notation, peuvent être utilisés pour vérifier a posteriori si l’enseignant s’est éventuellement écarté de ces constantes, de manière à signaler d’éventuelles incohérences ou anomalies. La quatrième condition devrait être que le système d’IA est destiné à exécuter une tâche qui n’est qu’un acte préparatoire à une évaluation pertinente aux fins des systèmes d’IA repris dans la liste figurant dans une annexe du présent règlement et, partant, la probabilité que les sorties produites par le système présentent un risque pour l’évaluation postérieure est très faible. Cette condition s’applique, entre autres, aux solutions intelligentes de traitement des fichiers, qui comprennent diverses fonctions telles que l’indexation, la recherche, le traitement de texte et le traitement de la parole ou le fait de relier des données à d’autres sources de données, ou aux systèmes d’IA utilisés pour la traduction de documents initiaux. En tout état de cause, les systèmes d’IA utilisés dans des cas d’utilisation à haut risque énumérés dans une annexe du présent règlement devraient être considérés comme présentant des risques importants de préjudice pour la santé, la sécurité ou les droits fondamentaux si le système d’IA implique un profilage au sens de l’article 4, point 4), du règlement (UE) 2016/679, de l’article 3, point 4), de la directive (UE) 2016/680 et de l’article 3, point 5), du règlement (UE) 2018/1725. Afin de garantir la traçabilité et la transparence, un fournisseur qui considère qu’un système d’IA n’est pas à haut risque sur la base des conditions susvisées devrait documenter l’évaluation avant la mise sur le marché ou la mise en service de ce système et fournir cette documentation aux autorités nationales compétentes sur demande. Ce fournisseur devrait être tenu d’enregistrer le système d’IA dans la base de données de l’UE établie en vertu du présent règlement. En vue de fournir des orientations supplémentaires pour la mise en œuvre pratique des critères en fonction desquels des systèmes d’IA répertoriés dans la liste figurant dans une annexe du présent règlement sont, à titre exceptionnel, des systèmes qui ne sont pas à haut risque, la Commission devrait, après consultation du Comité IA, fournir des lignes directrices précisant cette mise en œuvre pratique, assorties d’une liste exhaustive d’exemples pratiques de cas d’utilisation de systèmes d’IA qui sont à haut risque et de cas d’utilisation qui ne le sont pas.

Ferner muss klargestellt werden, dass es bestimmte Fälle geben kann, in denen KI-Systeme für vordefinierte in dieser Verordnung festgelegte Bereiche nicht zu einem bedeutenden Risiko der Beeinträchtigung der in diesen Bereichen geschützten rechtlichen Interessen führen, da sie die Entscheidungsfindung nicht wesentlich beeinflussen oder diesen Interessen nicht erheblich schaden. Für die Zwecke dieser Verordnung sollte ein KI-System, das das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst, als ein KI-System verstanden werden, das keine Auswirkungen auf den Inhalt und damit das Ergebnis der Entscheidungsfindung hat, unabhängig davon, ob es sich um menschliche oder automatisierte Entscheidungen handelt. Ein KI-System, das das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst, könnte Situationen einschließen, in denen eine oder mehrere der folgenden Bedingungen erfüllt sind. Die erste dieser Bedingungen ist, dass das KI-System dazu bestimmt ist, in einem Verfahren eine eng gefasste Aufgabe zu erfüllen, wie etwa ein KI-System, das unstrukturierte Daten in strukturierte Daten umwandelt, ein KI-System, das eingehende Dokumente in Kategorien einordnet, oder ein KI-System, das zur Erkennung von Duplikaten unter einer großen Zahl von Anwendungen eingesetzt wird. Diese Aufgaben sind so eng gefasst und begrenzt, dass sie nur beschränkte Risiken darstellen, die sich durch die Verwendung eines KI-Systems in einem Kontext, der in einem Anhang dieser Verordnung als Verwendung mit hohem Risiko aufgeführt ist, nicht erhöhen. Die zweite Bedingung sollte darin bestehen, dass die von einem KI-System ausgeführte Aufgabe das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessert, die für die Zwecke der in einem Anhang dieser Verordnung aufgeführten Verwendungen mit hohem Risiko relevant sein kann. Unter Berücksichtigung dieser Merkmale wird eine menschliche Tätigkeit durch das KI-System lediglich durch eine zusätzliche Ebene ergänzt und stellt daher ein geringeres Risiko dar. Diese Bedingung würde beispielsweise für KI-Systeme gelten, deren Ziel es ist, die in zuvor verfassten Dokumenten verwendete Sprache zu verbessern, etwa den professionellen Ton, den wissenschaftlichen Sprachstil oder um den Text an einen bestimmten mit einer Marke verbundenen Stil anzupassen. Dritte Bedingung sollte sein, dass mit dem KI-System Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern erkannt werden sollen. Das Risiko wäre geringer, da die Verwendung des KI-Systems einer zuvor abgeschlossenen menschlichen Bewertung folgt, die das KI-System ohne angemessene menschliche Überprüfung nicht ersetzen oder beeinflussen soll. Zu solchen KI-Systemen gehören beispielsweise solche, die in Bezug auf ein bestimmtes Benotungsmuster eines Lehrers dazu verwendet werden können, nachträglich zu prüfen, ob der Lehrer möglicherweise von dem Benotungsmuster abgewichen ist, um so auf mögliche Unstimmigkeiten oder Unregelmäßigkeiten aufmerksam zu machen. Die vierte Bedingung sollte darin bestehen, dass das KI-System dazu bestimmt ist, eine Aufgabe auszuführen, die eine Bewertung, die für die Zwecke der in einem Anhang dieser Verordnung aufgeführten KI-Systeme relevant ist, lediglich vorbereitet, wodurch die mögliche Wirkung der Ausgaben des Systems im Hinblick auf das Risiko für die folgende Bewertung sehr gering bleibt. Diese Bedingung umfasst u. a. intelligente Lösungen für die Bearbeitung von Dossiers, wozu verschiedene Funktionen wie Indexierung, Suche, Text- und Sprachverarbeitung oder Verknüpfung von Daten mit anderen Datenquellen gehören, oder KI-Systeme, die für die Übersetzung von Erstdokumenten verwendet werden. In jedem Fall sollten KI-Systeme, die in den in einem Anhang dieser Verordnung aufgeführten Anwendungsfälle mit hohem Risiko verwendet werden, als erhebliche Risiken für die Gesundheit, Sicherheit oder Grundrechte gelten, wenn das KI-System Profiling im Sinne von Artikel 4 Nummer 4 der Verordnung (EU) 2016/679 oder Artikel 3 Nummer 4 der Richtlinie (EU) 2016/680 oder Artikel 3 Nummer 5 der Verordnung (EU) 2018/1725 beinhaltet. Um die Nachvollziehbarkeit und Transparenz zu gewährleisten, sollte ein Anbieter, der der Auffassung ist, dass ein KI-System auf der Grundlage der oben genannten Bedingungen kein hohes Risiko darstellt, eine Dokumentation der Bewertung erstellen, bevor dieses System in Verkehr gebracht oder in Betrieb genommen wird, und die genannte Dokumentation den zuständigen nationalen Behörden auf Anfrage zur Verfügung stellen. Ein solcher Anbieter sollte verpflichtet sein, das KI-System in der gemäß dieser Verordnung eingerichteten EU-Datenbank zu registrieren. Um eine weitere Anleitung für die praktische Umsetzung der Bedingungen zu geben, unter denen die in einem Anhang dieser Verordnung aufgeführten Systeme ausnahmsweise kein hohes Risiko darstellen, sollte die Kommission nach Konsultation des KI-Gremiums Leitlinien bereitstellen, in denen diese praktische Umsetzung detailliert aufgeführt ist und durch eine umfassende Liste praktischer Beispiele für Anwendungsfälle von KI-Systemen, die ein hohes Risiko und Anwendungsfälle, die kein hohes Risiko darstellen, ergänzt wird.