Considérant 75

La robustesse technique est une exigence essentielle pour les systèmes d’IA à haut risque. Il convient qu’ils soient résilients face aux comportements préjudiciables ou, plus généralement, indésirables pouvant résulter de limites intrinsèques aux systèmes ou dues à l’environnement dans lequel les systèmes fonctionnent (par exemple les erreurs, les défaillances, les incohérences et les situations inattendues). Par conséquent, des mesures techniques et organisationnelles devraient être prises pour garantir la robustesse des systèmes d’IA à haut risque, par exemple en concevant et développant des solutions techniques appropriées pour prévenir ou réduire au minimum les comportements préjudiciables ou, plus généralement, indésirables. Ces solutions techniques peuvent comprendre, par exemple, des mécanismes permettant au système d’interrompre son fonctionnement en toute sécurité (mesures de sécurité après défaillance) en présence de certaines anomalies ou en cas de fonctionnement en dehors de certaines limites déterminées au préalable. L’absence de protection contre ces risques pourrait avoir des incidences sur la sécurité ou entraîner des violations des droits fondamentaux, par exemple en raison de décisions erronées ou de sorties inexactes ou biaisées générées par le système d’IA.

Kluczowym wymogiem dotyczącym systemów AI wysokiego ryzyka jest solidność techniczna. Powinny one być odporne na szkodliwe lub w inny sposób niepożądane zachowania, które mogą wynikać z ograniczeń w systemach lub ze środowiska, w którym te systemy działają (np. błędy, usterki, niespójności, nieoczekiwane sytuacje). W związku z tym należy wprowadzić środki techniczne i organizacyjne, by zapewnić solidność systemów AI wysokiego ryzyka, na przykład poprzez projektowanie i rozwijanie odpowiednich rozwiązań technicznych w celu zapobiegania szkodliwym lub innym niepożądanym zachowaniom lub ich ograniczania. Takie rozwiązania techniczne mogą obejmować na przykład mechanizmy umożliwiające bezpieczne przerwanie działania systemu (przejście systemu w stan bezpieczny – tzw. „fail-safe”), jeśli zaistnieją pewne nieprawidłowości lub gdy działanie wykracza poza określone z góry granice. Brak ochrony przed tym ryzykiem może mieć konsekwencje dla bezpieczeństwa lub negatywnie wpłynąć na prawa podstawowe, na przykład z powodu błędnych decyzji lub nieprawidłowych lub stronniczych wyników generowanych przez system AI.