Bod odůvodnění 75

U vysoce rizikových systémů AI je klíčovým požadavkem technická spolehlivost. Tyto systémy by měly být odolné vůči škodlivému nebo jinak nežádoucímu chování, které může být důsledkem omezení uvnitř systémů nebo prostředí, v němž systémy fungují (např. chyby, závady, nesrovnalosti, neočekávané situace). Proto by měla být přijata technická a organizační opatření k zajištění spolehlivosti vysoce rizikových systémů AI, obnášející například navrhování a vývoj vhodných technických řešení pro prevenci nebo minimalizaci škodlivého nebo jinak nežádoucího chování. Tato technická řešení mohou zahrnovat například mechanismy umožňující systému bezpečně přerušit provoz (plány zajištění proti selhání) v přítomnosti určitých anomálií nebo v případě, že provoz probíhá mimo určité předem stanovené hranice. Neschopnost ochrany před těmito riziky by mohla vést k dopadům na bezpečnost nebo negativně ovlivnit základní práva, například v důsledku chybných rozhodnutí nebo nesprávných či zkreslených výstupů systému AI.

Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandsfähig in Bezug auf schädliches oder anderweitig unerwünschtes Verhalten sein, das sich aus Einschränkungen innerhalb der Systeme oder der Umgebung, in der die Systeme betrieben werden, ergeben kann (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen). Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um die Robustheit von Hochrisiko-KI-Systemen sicherzustellen, indem beispielsweise geeignete technische Lösungen konzipiert und entwickelt werden, um schädliches oder anderweitig unerwünschtes Verhalten zu verhindern oder zu minimieren. Zu diesen technischen Lösungen können beispielsweise Mechanismen gehören, die es dem System ermöglichen, seinen Betrieb bei bestimmten Anomalien oder beim Betrieb außerhalb bestimmter vorab festgelegter Grenzen sicher zu unterbrechen (Störungssicherheitspläne). Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ausgaben hervorbringt.