Considérant 75

La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Il convient qu’ils soient résilients face aux comportements préjudiciables ou, plus généralement, indésirables pouvant résulter de limites intrinsèques aux systèmes ou dues à l’environnement dans lequel les systèmes fonctionnent (par exemple les erreurs, les défaillances, les incohérences et les situations inattendues). Par conséquent, des mesures techniques et organisationnelles devraient être prises pour garantir la robustesse des systèmes d’IA à haut risque, par exemple en concevant et développant des solutions techniques appropriées pour prévenir ou réduire au minimum les comportements préjudiciables ou, plus généralement, indésirables. Ces solutions techniques peuvent comprendre, par exemple, des mécanismes permettant au système d’interrompre son fonctionnement en toute sécurité (mesures de sécurité après défaillance) en présence de certaines anomalies ou en cas de fonctionnement en dehors de certaines limites déterminées au préalable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de sorties inexactes ou biaisées générées par le système d’IA.

Technická spoľahlivosť je kľúčovou požiadavkou pre vysokorizikové systémy AI. Mali by byť odolné voči škodlivému alebo inak nežiaducemu správaniu, ktoré môže vyplynúť z obmedzení systémov alebo prostredia, v ktorom systémy fungujú (napríklad chyby, poruchy, nezrovnalosti, neočakávané situácie). Preto by sa mali prijať technické a organizačné opatrenia na zabezpečenie spoľahlivosti vysokorizikových systémov AI, napríklad dizajnovaním a vývojom vhodných technických riešení na prevenciu alebo minimalizáciu škodlivého alebo inak nežiaduceho správania. Toto technické riešenie môže zahŕňať napríklad mechanizmy umožňujúce systému bezpečne prerušiť svoju prevádzku (plány pre prípad zlyhania) za určitých anomálií alebo ak sa prevádzka uskutočňuje mimo určitých vopred stanovených hraníc. Neschopnosť chrániť pred týmito rizikami by mohla mať vplyv na bezpečnosť alebo negatívne ovplyvniť základné práva, napríklad v dôsledku chybných rozhodnutí alebo nesprávnych alebo skreslených výstupov vygenerovaných systémom AI.