Dokładność, solidność i cyberbezpieczeństwo

1.  Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz by działały konsekwentnie pod tymi względami w całym cyklu życia.

2.  Aby odnieść się do technicznych aspektów pomiaru odpowiednich poziomów dokładności i solidności określonych w ust. 1 oraz wszelkich innych istotnych wskaźników skuteczności działania, Komisja we współpracy z odpowiednimi zainteresowanymi stronami i organizacjami, takimi jak organy metrologiczne i organy ds. analizy porównawczej, zachęca w stosownych przypadkach do opracowywania poziomów odniesienia i metod pomiarowych.

3.  Poziomy dokładności i odpowiednie wskaźniki dokładności systemów AI wysokiego ryzyka deklaruje się w dołączonych do nich instrukcjach obsługi.

4.  Systemy AI wysokiego ryzyka muszą być możliwie jak najodporniejsze na błędy, usterki lub niespójności, które mogą wystąpić w systemie lub w środowisku, w którym działa system, w szczególności w wyniku interakcji z osobami fizycznymi lub innymi systemami. W tym zakresie podejmuje się środki techniczne i organizacyjne.

Solidność systemów AI wysokiego ryzyka można osiągnąć dzięki rozwiązaniom technicznym gwarantującym redundancję, które mogą obejmować plany zakładające dostępność systemu zapasowego lub plany zapewniające przejście systemu w stan bezpieczny (tzw. „fail-safe”).

Systemy AI wysokiego ryzyka, które po wprowadzeniu na rynek lub oddaniu do użytku nadal się uczą, rozwija się w taki sposób, aby w możliwie największym stopniu wyeliminować lub ograniczyć ryzyko potencjalnie stronniczych wyników wpływających na dane wejściowe wykorzystywane na potrzeby przyszłych operacji (sprzężenie zwrotne) oraz aby zapewnić, by wszelkie tego typu sprzężenie zwrotne zostało odpowiednio uwzględnione przy pomocy odpowiednich środków ograniczających ryzyko.

5.  Systemy AI wysokiego ryzyka muszą być odporne na próby nieupoważnionych osób trzecich mające na celu zmianę ich wykorzystania, wyników lub skuteczności działania poprzez wykorzystanie słabych punktów systemu.

Rozwiązania techniczne mające na celu zapewnienie cyberbezpieczeństwa systemów AI wysokiego ryzyka muszą być dostosowane do odpowiednich okoliczności i ryzyka.

Rozwiązania techniczne mające na celu eliminowanie słabych punktów charakterystycznych dla AI obejmują, w stosownych przypadkach, środki służące zapobieganiu atakom mającym na celu manipulowanie zbiorem danych treningowych (zatruwanie danych) lub elementami stosowanymi przy trenowaniu, które zostały poddane pretrenowaniu (zatruwanie modelu), wprowadzaniu danych wejściowych, które mają na celu spowodowanie błędu w modelu AI (przykłady kontradyktoryjne lub omijanie modelu), atakom na poufność lub wadom modelu, a także środki w zakresie wykrywania tych zagrożeń, reagowania na nie, ich rozwiązywania i ich kontrolowania.

1.  Vysokorizikové systémy AI musia byť dizajnované a vyvinuté tak, aby dosahovali primeranú úroveň presnosti, spoľahlivosti a kybernetickej bezpečnosti a aby v týchto ohľadoch fungovali konzistentne počas celého svojho životného cyklu.

2.  S cieľom riešiť technické aspekty spôsobu merania primeraných úrovní presnosti a spoľahlivosti stanovených v odseku 1 a akékoľvek iné relevantné metriky výkonu Komisia v spolupráci s príslušnými zainteresovanými stranami a organizáciami, ako sú orgány v oblasti metrológie a referenčného porovnávania, podľa potreby podporuje vypracovanie referenčných hodnôt a metodík merania.

3.  Úrovne presnosti a príslušné metriky na meranie presnosti vysokorizikových systémov AI sa uvádzajú v priloženom návode na použitie.

4.  Vysokorizikové systémy AI musia byť čo najodolnejšie, pokiaľ ide o chyby, poruchy alebo nezrovnalosti, ktoré sa môžu vyskytnúť v rámci systému alebo prostredia, v ktorom sa systém prevádzkuje, a to najmä z dôvodu ich interakcie s fyzickými osobami alebo inými systémami. V tejto súvislosti sa prijmú technické a organizačné opatrenia.

Spoľahlivosť vysokorizikových systémov AI možno dosiahnuť technickými riešeniami na vytvorenie redundancie, ktoré môžu zahŕňať plány zálohovania alebo núdzového režimu.

Vysokorizikové systémy AI, ktoré sa po uvedení na trh alebo do prevádzky ďalej učia, sa vyvíjajú tak, aby sa odstránilo alebo v čo najväčšej miere znížilo riziko, že prípadné skreslené výstupy budú mať vplyv na vstup pre budúce operácie (ďalej len „slučky spätnej väzby“), a aby sa zaistilo, že akékoľvek takéto slučky spätnej väzby sa budú náležite riešiť vhodnými zmierňujúcimi opatreniami.

5.  Vysokorizikové systémy AI musia byť odolné voči pokusom neoprávnených tretích strán o zmenu ich používania, výstupov alebo výkonu využívaním zraniteľností systému.

Technické riešenia zamerané na zabezpečenie kybernetickej bezpečnosti vysokorizikových systémov AI musia byť primerané príslušným okolnostiam a rizikám.

Technické riešenia zamerané na zraniteľnosti špecifické pre AI v prípade potreby zahŕňajú opatrenia na prevenciu, detekciu, reakciu, riešenie a kontrolu v prípade útokov, ktoré sa pokúšajú manipulovať súbor trénovacích údajov (ďalej len „otrávenie údajov“) alebo vopred natrénované komponenty používané pri tréningu (ďalej len „otrávenie modelov“), vstupov koncipovaných tak, aby model AI urobil chybu (ďalej len „odporujúce si príklady“ alebo „oklamanie modelov“), útokov na dôvernosť alebo nedostatkov modelu.