Erwägungsgrund 75

Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandsfähig in Bezug auf schädliches oder anderweitig unerwünschtes Verhalten sein, das sich aus Einschränkungen innerhalb der Systeme oder der Umgebung, in der die Systeme betrieben werden, ergeben kann (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen). Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um die Robustheit von Hochrisiko-KI-Systemen sicherzustellen, indem beispielsweise geeignete technische Lösungen konzipiert und entwickelt werden, um schädliches oder anderweitig unerwünschtes Verhalten zu verhindern oder zu minimieren. Zu diesen technischen Lösungen können beispielsweise Mechanismen gehören, die es dem System ermöglichen, seinen Betrieb bei bestimmten Anomalien oder beim Betrieb außerhalb bestimmter vorab festgelegter Grenzen sicher zu unterbrechen (Störungssicherheitspläne). Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ausgaben hervorbringt.

La robustezza tecnica è un requisito fondamentale dei sistemi di IA ad alto rischio. Essi dovrebbero essere resilienti in relazione a comportamenti dannosi o altrimenti indesiderati che possono derivare da limitazioni all'interno dei sistemi o dell'ambiente in cui i sistemi funzionano (ad esempio errori, guasti, incongruenze, situazioni impreviste). È pertanto opportuno adottare misure tecniche e organizzative per garantire la robustezza dei sistemi di IA ad alto rischio, ad esempio progettando e sviluppando soluzioni tecniche adeguate per prevenire o ridurre al minimo i comportamenti dannosi o altrimenti indesiderati. Tali soluzioni tecniche possono comprendere, ad esempio, meccanismi che consentano al sistema di interrompere in modo sicuro il proprio funzionamento (piani fail-safe) in presenza di determinate anomalie o quando il funzionamento ha luogo al di fuori di determinati limiti prestabiliti. La mancata protezione da tali rischi potrebbe avere ripercussioni sulla sicurezza o incidere negativamente sui diritti fondamentali, ad esempio a causa di decisioni errate o di output sbagliati o distorti generati dal sistema di IA.