Bod odůvodnění 75

U vysoce rizikových systémů AI je klíčovým požadavkem technická spolehlivost. Tyto systémy by měly být odolné vůči škodlivému nebo jinak nežádoucímu chování, které může být důsledkem omezení uvnitř systémů nebo prostředí, v němž systémy fungují (např. chyby, závady, nesrovnalosti, neočekávané situace). Proto by měla být přijata technická a organizační opatření k zajištění spolehlivosti vysoce rizikových systémů AI, obnášející například navrhování a vývoj vhodných technických řešení pro prevenci nebo minimalizaci škodlivého nebo jinak nežádoucího chování. Tato technická řešení mohou zahrnovat například mechanismy umožňující systému bezpečně přerušit provoz (plány zajištění proti selhání) v přítomnosti určitých anomálií nebo v případě, že provoz probíhá mimo určité předem stanovené hranice. Neschopnost ochrany před těmito riziky by mohla vést k dopadům na bezpečnost nebo negativně ovlivnit základní práva, například v důsledku chybných rozhodnutí nebo nesprávných či zkreslených výstupů systému AI.

La solidez técnica es un requisito clave para los sistemas de IA de alto riesgo, que deben ser resilientes en relación con los comportamientos perjudiciales o indeseables por otros motivos que puedan derivarse de limitaciones en los sistemas o del entorno en el que estos funcionan (p. ej., errores, fallos, incoherencias o situaciones inesperadas). Por consiguiente, deben adoptarse medidas técnicas y organizativas para garantizar la solidez de los sistemas de IA de alto riesgo, por ejemplo mediante el diseño y desarrollo de soluciones técnicas adecuadas para prevenir o reducir al mínimo ese comportamiento perjudicial o indeseable. Estas soluciones técnicas pueden incluir, por ejemplo, mecanismos que permitan al sistema interrumpir de forma segura su funcionamiento (planes de prevención contra fallos) en presencia de determinadas anomalías o cuando el funcionamiento tenga lugar fuera de determinados límites predeterminados. El hecho de no adoptar medidas de protección frente a estos riesgos podría tener consecuencias para la seguridad o afectar de manera negativa a los derechos fundamentales, por ejemplo, debido a decisiones equivocadas o resultados de salida erróneos o sesgados generados por el sistema de IA.