Presnosť, spoľahlivosť a kybernetická bezpečnosť

1.   Vysokorizikové systémy AI musia byť dizajnované a vyvinuté tak, aby dosahovali primeranú úroveň presnosti, spoľahlivosti a kybernetickej bezpečnosti a aby v týchto ohľadoch fungovali konzistentne počas celého svojho životného cyklu.

2.   S cieľom riešiť technické aspekty spôsobu merania primeraných úrovní presnosti a spoľahlivosti stanovených v odseku 1 a akékoľvek iné relevantné metriky výkonu Komisia v spolupráci s príslušnými zainteresovanými stranami a organizáciami, ako sú orgány v oblasti metrológie a referenčného porovnávania, podľa potreby podporuje vypracovanie referenčných hodnôt a metodík merania.

3.   Úrovne presnosti a príslušné metriky na meranie presnosti vysokorizikových systémov AI sa uvádzajú v priloženom návode na použitie.

4.   Vysokorizikové systémy AI musia byť čo najodolnejšie, pokiaľ ide o chyby, poruchy alebo nezrovnalosti, ktoré sa môžu vyskytnúť v rámci systému alebo prostredia, v ktorom sa systém prevádzkuje, a to najmä z dôvodu ich interakcie s fyzickými osobami alebo inými systémami. V tejto súvislosti sa prijmú technické a organizačné opatrenia.

Spoľahlivosť vysokorizikových systémov AI možno dosiahnuť technickými riešeniami na vytvorenie redundancie, ktoré môžu zahŕňať plány zálohovania alebo núdzového režimu.

Vysokorizikové systémy AI, ktoré sa po uvedení na trh alebo do prevádzky ďalej učia, sa vyvíjajú tak, aby sa odstránilo alebo v čo najväčšej miere znížilo riziko, že prípadné skreslené výstupy budú mať vplyv na vstup pre budúce operácie (ďalej len „slučky spätnej väzby“), a aby sa zaistilo, že akékoľvek takéto slučky spätnej väzby sa budú náležite riešiť vhodnými zmierňujúcimi opatreniami.

5.   Vysokorizikové systémy AI musia byť odolné voči pokusom neoprávnených tretích strán o zmenu ich používania, výstupov alebo výkonu využívaním zraniteľností systému.

Technické riešenia zamerané na zabezpečenie kybernetickej bezpečnosti vysokorizikových systémov AI musia byť primerané príslušným okolnostiam a rizikám.

Technické riešenia zamerané na zraniteľnosti špecifické pre AI v prípade potreby zahŕňajú opatrenia na prevenciu, detekciu, reakciu, riešenie a kontrolu v prípade útokov, ktoré sa pokúšajú manipulovať súbor trénovacích údajov (ďalej len „otrávenie údajov“) alebo vopred natrénované komponenty používané pri tréningu (ďalej len „otrávenie modelov“), vstupov koncipovaných tak, aby model AI urobil chybu (ďalej len „odporujúce si príklady“ alebo „oklamanie modelov“), útokov na dôvernosť alebo nedostatkov modelu.

1.   Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme en esos sentidos durante todo su ciclo de vida.

2.   Para abordar los aspectos técnicos sobre la forma de medir los niveles adecuados de precisión y solidez establecidos en el apartado 1 y cualquier otro parámetro de rendimiento pertinente, la Comisión, en cooperación con las partes interesadas y organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, fomentará, según proceda, el desarrollo de parámetros de referencia y metodologías de medición.

3.   En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión de dichos sistemas, así como los parámetros pertinentes para medirla.

4.   Los sistemas de IA de alto riesgo serán lo más resistentes posible en lo que respecta a los errores, fallos o incoherencias que pueden surgir en los propios sistemas o en el entorno en el que funcionan, en particular a causa de su interacción con personas físicas u otros sistemas. Se adoptarán medidas técnicas y organizativas a este respecto.

La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.

Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que se elimine o reduzca lo máximo posible el riesgo de que los resultados de salida que pueden estar sesgados influyan en la información de entrada de futuras operaciones (bucles de retroalimentación) y se garantice que dichos bucles se subsanen debidamente con las medidas de reducción de riesgos adecuadas.

5.   Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso, sus resultados de salida o su funcionamiento aprovechando las vulnerabilidades del sistema.

Las soluciones técnicas encaminadas a garantizar la ciberseguridad de los sistemas de IA de alto riesgo serán adecuadas a las circunstancias y los riesgos pertinentes.

Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir, detectar, combatir, resolver y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («envenenamiento de datos»), o los componentes entrenados previamente utilizados en el entrenamiento («envenenamiento de modelos»), la información de entrada diseñada para hacer que el modelo de IA cometa un error («ejemplos adversarios» o «evasión de modelos»), los ataques a la confidencialidad o los defectos en el modelo.