Dokładność, solidność i cyberbezpieczeństwo

1.   Systemy AI wysokiego ryzyka projektuje się i rozwija w taki sposób, aby osiągały odpowiedni poziom dokładności, solidności i cyberbezpieczeństwa oraz by działały konsekwentnie pod tymi względami w całym cyklu życia.

2.   Aby odnieść się do technicznych aspektów pomiaru odpowiednich poziomów dokładności i solidności określonych w ust. 1 oraz wszelkich innych istotnych wskaźników skuteczności działania, Komisja we współpracy z odpowiednimi zainteresowanymi stronami i organizacjami, takimi jak organy metrologiczne i organy ds. analizy porównawczej, zachęca w stosownych przypadkach do opracowywania poziomów odniesienia i metod pomiarowych.

3.   Poziomy dokładności i odpowiednie wskaźniki dokładności systemów AI wysokiego ryzyka deklaruje się w dołączonych do nich instrukcjach obsługi.

4.   Systemy AI wysokiego ryzyka muszą być możliwie jak najodporniejsze na błędy, usterki lub niespójności, które mogą wystąpić w systemie lub w środowisku, w którym działa system, w szczególności w wyniku interakcji z osobami fizycznymi lub innymi systemami. W tym zakresie podejmuje się środki techniczne i organizacyjne.

Solidność systemów AI wysokiego ryzyka można osiągnąć dzięki rozwiązaniom technicznym gwarantującym redundancję, które mogą obejmować plany zakładające dostępność systemu zapasowego lub plany zapewniające przejście systemu w stan bezpieczny (tzw. „fail-safe”).

Systemy AI wysokiego ryzyka, które po wprowadzeniu na rynek lub oddaniu do użytku nadal się uczą, rozwija się w taki sposób, aby w możliwie największym stopniu wyeliminować lub ograniczyć ryzyko potencjalnie stronniczych wyników wpływających na dane wejściowe wykorzystywane na potrzeby przyszłych operacji (sprzężenie zwrotne) oraz aby zapewnić, by wszelkie tego typu sprzężenie zwrotne zostało odpowiednio uwzględnione przy pomocy odpowiednich środków ograniczających ryzyko.

5.   Systemy AI wysokiego ryzyka muszą być odporne na próby nieupoważnionych osób trzecich mające na celu zmianę ich wykorzystania, wyników lub skuteczności działania poprzez wykorzystanie słabych punktów systemu.

Rozwiązania techniczne mające na celu zapewnienie cyberbezpieczeństwa systemów AI wysokiego ryzyka muszą być dostosowane do odpowiednich okoliczności i ryzyka.

Rozwiązania techniczne mające na celu eliminowanie słabych punktów charakterystycznych dla AI obejmują, w stosownych przypadkach, środki służące zapobieganiu atakom mającym na celu manipulowanie zbiorem danych treningowych (zatruwanie danych) lub elementami stosowanymi przy trenowaniu, które zostały poddane pretrenowaniu (zatruwanie modelu), wprowadzaniu danych wejściowych, które mają na celu spowodowanie błędu w modelu AI (przykłady kontradyktoryjne lub omijanie modelu), atakom na poufność lub wadom modelu, a także środki w zakresie wykrywania tych zagrożeń, reagowania na nie, ich rozwiązywania i ich kontrolowania.

1.   Vysoce rizikové systémy AI jsou navrženy a vyvinuty tak, aby dosahovaly náležité úrovně přesnosti, spolehlivosti a kybernetické bezpečnosti a aby v tomto ohledu dosahovaly konzistentních výsledků během celého svého životního cyklu.

2.   S cílem řešit technické aspekty způsobů měření náležitých úrovní přesnosti a spolehlivosti stanovených v odstavci 1 a jakékoli další relevantní metriky výkonnosti Komise ve spolupráci s příslušnými zúčastněnými stranami a organizacemi, jako jsou metrologické a srovnávací orgány, případně podpoří vypracování referenčních hodnot a metodik měření.

3.   Úrovně přesnosti a příslušné metriky přesnosti vysoce rizikových systémů AI jsou oznámeny v přiloženém návodu k použití.

4.   Vysoce rizikové systémy AI musí být v nejvyšší možné míře odolné vůči chybám, poruchám nebo nesrovnalostem, které se mohou vyskytnout v daném systému nebo v prostředí, ve kterém tento systém funguje, zejména v důsledku jejich interakce s fyzickými osobami nebo jinými systémy. Za tímto účelem se přijmou technická a organizační opatření.

Spolehlivosti vysoce rizikových systémů AI lze dosáhnout pomocí technicky redundantních řešení, která mohou zahrnovat plány zálohování nebo zajištění proti selhání.

Vysoce rizikové systémy AI, které se po uvedení na trh nebo do provozu dále učí, jsou vyvíjeny tak, aby se vyloučilo nebo minimalizovalo riziko případně zkreslených výstupů ovlivňujících vstup pro budoucí operace (dále jen „smyčky zpětné vazby“, v angličtině. „feedback loops“) a aby se zajistilo, že tyto smyčky zpětné vazby budou řádně řešeny formou vhodných zmírňujících opatření.

5.   Vysoce rizikové systémy AI jsou odolné proti pokusům neoprávněných třetích stran změnit jejich použití, vstupy nebo výkonnost zneužitím zranitelných míst těchto systémů.

Technická řešení zaměřená na zajištění kybernetické bezpečnosti vysoce rizikových systémů AI odpovídají příslušným okolnostem a rizikům.

Technická řešení umožňující řešení zranitelných míst specifických pro AI v příslušných případech zahrnují opatření pro prevenci, detekci, řešení a kontrolu útoků, které se pokoušejí manipulovat soubory trénovacích dat (tzv. „data poisoning“), případně předtrénovaných komponent používaných při trénování (tzv. „model poisoning“), vstupů, jejichž cílem je přimět daný model AI k tomu, aby udělal chybu (tzv. „matoucí vzory“ nebo „vyhýbání se modelu“), útoků na důvěrnost nebo chyb modelů a také opatření týkající se reakcí na uvedené útoky.