Erwägungsgrund 75

Die technische Robustheit ist eine wesentliche Voraussetzung für Hochrisiko-KI-Systeme. Sie sollten widerstandsfähig in Bezug auf schädliches oder anderweitig unerwünschtes Verhalten sein, das sich aus Einschränkungen innerhalb der Systeme oder der Umgebung, in der die Systeme betrieben werden, ergeben kann (z. B. Fehler, Störungen, Unstimmigkeiten, unerwartete Situationen). Daher sollten technische und organisatorische Maßnahmen ergriffen werden, um die Robustheit von Hochrisiko-KI-Systemen sicherzustellen, indem beispielsweise geeignete technische Lösungen konzipiert und entwickelt werden, um schädliches oder anderweitig unerwünschtes Verhalten zu verhindern oder zu minimieren. Zu diesen technischen Lösungen können beispielsweise Mechanismen gehören, die es dem System ermöglichen, seinen Betrieb bei bestimmten Anomalien oder beim Betrieb außerhalb bestimmter vorab festgelegter Grenzen sicher zu unterbrechen (Störungssicherheitspläne). Ein fehlender Schutz vor diesen Risiken könnte die Sicherheit beeinträchtigen oder sich negativ auf die Grundrechte auswirken, wenn das KI-System beispielsweise falsche Entscheidungen trifft oder falsche oder verzerrte Ausgaben hervorbringt.

Technická spoľahlivosť je kľúčovou požiadavkou pre vysokorizikové systémy AI. Mali by byť odolné voči škodlivému alebo inak nežiaducemu správaniu, ktoré môže vyplynúť z obmedzení systémov alebo prostredia, v ktorom systémy fungujú (napríklad chyby, poruchy, nezrovnalosti, neočakávané situácie). Preto by sa mali prijať technické a organizačné opatrenia na zabezpečenie spoľahlivosti vysokorizikových systémov AI, napríklad dizajnovaním a vývojom vhodných technických riešení na prevenciu alebo minimalizáciu škodlivého alebo inak nežiaduceho správania. Toto technické riešenie môže zahŕňať napríklad mechanizmy umožňujúce systému bezpečne prerušiť svoju prevádzku (plány pre prípad zlyhania) za určitých anomálií alebo ak sa prevádzka uskutočňuje mimo určitých vopred stanovených hraníc. Neschopnosť chrániť pred týmito rizikami by mohla mať vplyv na bezpečnosť alebo negatívne ovplyvniť základné práva, napríklad v dôsledku chybných rozhodnutí alebo nesprávnych alebo skreslených výstupov vygenerovaných systémom AI.