Dokładność, solidność i cyberbezpieczeństwo

1.  Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz by działały konsekwentnie pod tymi względami w całym cyklu życia.

2.  Aby odnieść się do technicznych aspektów pomiaru odpowiednich poziomów dokładności i solidności określonych w ust. 1 oraz wszelkich innych istotnych wskaźników skuteczności działania, Komisja we współpracy z odpowiednimi zainteresowanymi stronami i organizacjami, takimi jak organy metrologiczne i organy ds. analizy porównawczej, zachęca w stosownych przypadkach do opracowywania poziomów odniesienia i metod pomiarowych.

3.  Poziomy dokładności i odpowiednie wskaźniki dokładności systemów AI wysokiego ryzyka deklaruje się w dołączonych do nich instrukcjach obsługi.

4.  Systemy AI wysokiego ryzyka muszą być możliwie jak najodporniejsze na błędy, usterki lub niespójności, które mogą wystąpić w systemie lub w środowisku, w którym działa system, w szczególności w wyniku interakcji z osobami fizycznymi lub innymi systemami. W tym zakresie podejmuje się środki techniczne i organizacyjne.

Solidność systemów AI wysokiego ryzyka można osiągnąć dzięki rozwiązaniom technicznym gwarantującym redundancję, które mogą obejmować plany zakładające dostępność systemu zapasowego lub plany zapewniające przejście systemu w stan bezpieczny (tzw. „fail-safe”).

Systemy AI wysokiego ryzyka, które po wprowadzeniu na rynek lub oddaniu do użytku nadal się uczą, rozwija się w taki sposób, aby w możliwie największym stopniu wyeliminować lub ograniczyć ryzyko potencjalnie stronniczych wyników wpływających na dane wejściowe wykorzystywane na potrzeby przyszłych operacji (sprzężenie zwrotne) oraz aby zapewnić, by wszelkie tego typu sprzężenie zwrotne zostało odpowiednio uwzględnione przy pomocy odpowiednich środków ograniczających ryzyko.

5.  Systemy AI wysokiego ryzyka muszą być odporne na próby nieupoważnionych osób trzecich mające na celu zmianę ich wykorzystania, wyników lub skuteczności działania poprzez wykorzystanie słabych punktów systemu.

Rozwiązania techniczne mające na celu zapewnienie cyberbezpieczeństwa systemów AI wysokiego ryzyka muszą być dostosowane do odpowiednich okoliczności i ryzyka.

Rozwiązania techniczne mające na celu eliminowanie słabych punktów charakterystycznych dla AI obejmują, w stosownych przypadkach, środki służące zapobieganiu atakom mającym na celu manipulowanie zbiorem danych treningowych (zatruwanie danych) lub elementami stosowanymi przy trenowaniu, które zostały poddane pretrenowaniu (zatruwanie modelu), wprowadzaniu danych wejściowych, które mają na celu spowodowanie błędu w modelu AI (przykłady kontradyktoryjne lub omijanie modelu), atakom na poufność lub wadom modelu, a także środki w zakresie wykrywania tych zagrożeń, reagowania na nie, ich rozwiązywania i ich kontrolowania.

1.  Los sistemas de IA de alto riesgo se diseñarán y desarrollarán de modo que alcancen un nivel adecuado de precisión, solidez y ciberseguridad y funcionen de manera uniforme en esos sentidos durante todo su ciclo de vida.

2.  Para abordar los aspectos técnicos sobre la forma de medir los niveles adecuados de precisión y solidez establecidos en el apartado 1 y cualquier otro parámetro de rendimiento pertinente, la Comisión, en cooperación con las partes interesadas y organizaciones pertinentes, como las autoridades de metrología y de evaluación comparativa, fomentará, según proceda, el desarrollo de parámetros de referencia y metodologías de medición.

3.  En las instrucciones de uso que acompañen a los sistemas de IA de alto riesgo se indicarán los niveles de precisión de dichos sistemas, así como los parámetros pertinentes para medirla.

4.  Los sistemas de IA de alto riesgo serán lo más resistentes posible en lo que respecta a los errores, fallos o incoherencias que pueden surgir en los propios sistemas o en el entorno en el que funcionan, en particular a causa de su interacción con personas físicas u otros sistemas. Se adoptarán medidas técnicas y organizativas a este respecto.

La solidez de los sistemas de IA de alto riesgo puede lograrse mediante soluciones de redundancia técnica, tales como copias de seguridad o planes de prevención contra fallos.

Los sistemas de IA de alto riesgo que continúan aprendiendo tras su introducción en el mercado o puesta en servicio se desarrollarán de tal modo que se elimine o reduzca lo máximo posible el riesgo de que los resultados de salida que pueden estar sesgados influyan en la información de entrada de futuras operaciones (bucles de retroalimentación) y se garantice que dichos bucles se subsanen debidamente con las medidas de reducción de riesgos adecuadas.

5.  Los sistemas de IA de alto riesgo serán resistentes a los intentos de terceros no autorizados de alterar su uso, sus resultados de salida o su funcionamiento aprovechando las vulnerabilidades del sistema.

Las soluciones técnicas encaminadas a garantizar la ciberseguridad de los sistemas de IA de alto riesgo serán adecuadas a las circunstancias y los riesgos pertinentes.

Entre las soluciones técnicas destinadas a subsanar vulnerabilidades específicas de la IA figurarán, según corresponda, medidas para prevenir, detectar, combatir, resolver y controlar los ataques que traten de manipular el conjunto de datos de entrenamiento («envenenamiento de datos»), o los componentes entrenados previamente utilizados en el entrenamiento («envenenamiento de modelos»), la información de entrada diseñada para hacer que el modelo de IA cometa un error («ejemplos adversarios» o «evasión de modelos»), los ataques a la confidencialidad o los defectos en el modelo.