Erwägungsgrund 75

Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandsfähig in Bezug auf schädliches oder anderweitig unerwünschtes Verhalten sein, das sich aus Einschränkungen innerhalb der Systeme oder der Umgebung, in der die Systeme betrieben werden, ergeben kann (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen). Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um die Robustheit von Hochrisiko-KI-Systemen sicherzustellen, indem beispielsweise geeignete technische Lösungen konzipiert und entwickelt werden, um schädliches oder anderweitig unerwünschtes Verhalten zu verhindern oder zu minimieren. Zu diesen technischen Lösungen können beispielsweise Mechanismen gehören, die es dem System ermöglichen, seinen Betrieb bei bestimmten Anomalien oder beim Betrieb außerhalb bestimmter vorab festgelegter Grenzen sicher zu unterbrechen (Störungssicherheitspläne). Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ausgaben hervorbringt.

Kluczowym wymogiem dotyczącym systemów AI wysokiego ryzyka jest solidność techniczna. Powinny one być odporne na szkodliwe lub w inny sposób niepożądane zachowania, które mogą wynikać z ograniczeń w systemach lub ze środowiska, w którym te systemy działają (np. błędy, usterki, niespójności, nieoczekiwane sytuacje). W związku z tym należy wprowadzić środki techniczne i organizacyjne, by zapewnić solidność systemów AI wysokiego ryzyka, na przykład poprzez projektowanie i rozwijanie odpowiednich rozwiązań technicznych w celu zapobiegania szkodliwym lub innym niepożądanym zachowaniom lub ich ograniczania. Takie rozwiązania techniczne mogą obejmować na przykład mechanizmy umożliwiające bezpieczne przerwanie działania systemu (przejście systemu w stan bezpieczny – tzw. „fail-safe”), jeśli zaistnieją pewne nieprawidłowości lub gdy działanie wykracza poza określone z góry granice. Brak ochrony przed tym ryzykiem może mieć konsekwencje dla bezpieczeństwa lub negatywnie wpłynąć na prawa podstawowe, na przykład z powodu błędnych decyzji lub nieprawidłowych lub stronniczych wyników generowanych przez system AI.