Přesnost, spolehlivost a kybernetická bezpečnost

1.   Vysoce rizikové systémy AI jsou navrženy a vyvinuty tak, aby dosahovaly náležité úrovně přesnosti, spolehlivosti a kybernetické bezpečnosti a aby v tomto ohledu dosahovaly konzistentních výsledků během celého svého životního cyklu.

2.   S cílem řešit technické aspekty způsobů měření náležitých úrovní přesnosti a spolehlivosti stanovených v odstavci 1 a jakékoli další relevantní metriky výkonnosti Komise ve spolupráci s příslušnými zúčastněnými stranami a organizacemi, jako jsou metrologické a srovnávací orgány, případně podpoří vypracování referenčních hodnot a metodik měření.

3.   Úrovně přesnosti a příslušné metriky přesnosti vysoce rizikových systémů AI jsou oznámeny v přiloženém návodu k použití.

4.   Vysoce rizikové systémy AI musí být v nejvyšší možné míře odolné vůči chybám, poruchám nebo nesrovnalostem, které se mohou vyskytnout v daném systému nebo v prostředí, ve kterém tento systém funguje, zejména v důsledku jejich interakce s fyzickými osobami nebo jinými systémy. Za tímto účelem se přijmou technická a organizační opatření.

Spolehlivosti vysoce rizikových systémů AI lze dosáhnout pomocí technicky redundantních řešení, která mohou zahrnovat plány zálohování nebo zajištění proti selhání.

Vysoce rizikové systémy AI, které se po uvedení na trh nebo do provozu dále učí, jsou vyvíjeny tak, aby se vyloučilo nebo minimalizovalo riziko případně zkreslených výstupů ovlivňujících vstup pro budoucí operace (dále jen „smyčky zpětné vazby“, v angličtině. „feedback loops“) a aby se zajistilo, že tyto smyčky zpětné vazby budou řádně řešeny formou vhodných zmírňujících opatření.

5.   Vysoce rizikové systémy AI jsou odolné proti pokusům neoprávněných třetích stran změnit jejich použití, vstupy nebo výkonnost zneužitím zranitelných míst těchto systémů.

Technická řešení zaměřená na zajištění kybernetické bezpečnosti vysoce rizikových systémů AI odpovídají příslušným okolnostem a rizikům.

Technická řešení umožňující řešení zranitelných míst specifických pro AI v příslušných případech zahrnují opatření pro prevenci, detekci, řešení a kontrolu útoků, které se pokoušejí manipulovat soubory trénovacích dat (tzv. „data poisoning“), případně předtrénovaných komponent používaných při trénování (tzv. „model poisoning“), vstupů, jejichž cílem je přimět daný model AI k tomu, aby udělal chybu (tzv. „matoucí vzory“ nebo „vyhýbání se modelu“), útoků na důvěrnost nebo chyb modelů a také opatření týkající se reakcí na uvedené útoky.

1.   Vysokorizikové systémy AI musia byť dizajnované a vyvinuté tak, aby dosahovali primeranú úroveň presnosti, spoľahlivosti a kybernetickej bezpečnosti a aby v týchto ohľadoch fungovali konzistentne počas celého svojho životného cyklu.

2.   S cieľom riešiť technické aspekty spôsobu merania primeraných úrovní presnosti a spoľahlivosti stanovených v odseku 1 a akékoľvek iné relevantné metriky výkonu Komisia v spolupráci s príslušnými zainteresovanými stranami a organizáciami, ako sú orgány v oblasti metrológie a referenčného porovnávania, podľa potreby podporuje vypracovanie referenčných hodnôt a metodík merania.

3.   Úrovne presnosti a príslušné metriky na meranie presnosti vysokorizikových systémov AI sa uvádzajú v priloženom návode na použitie.

4.   Vysokorizikové systémy AI musia byť čo najodolnejšie, pokiaľ ide o chyby, poruchy alebo nezrovnalosti, ktoré sa môžu vyskytnúť v rámci systému alebo prostredia, v ktorom sa systém prevádzkuje, a to najmä z dôvodu ich interakcie s fyzickými osobami alebo inými systémami. V tejto súvislosti sa prijmú technické a organizačné opatrenia.

Spoľahlivosť vysokorizikových systémov AI možno dosiahnuť technickými riešeniami na vytvorenie redundancie, ktoré môžu zahŕňať plány zálohovania alebo núdzového režimu.

Vysokorizikové systémy AI, ktoré sa po uvedení na trh alebo do prevádzky ďalej učia, sa vyvíjajú tak, aby sa odstránilo alebo v čo najväčšej miere znížilo riziko, že prípadné skreslené výstupy budú mať vplyv na vstup pre budúce operácie (ďalej len „slučky spätnej väzby“), a aby sa zaistilo, že akékoľvek takéto slučky spätnej väzby sa budú náležite riešiť vhodnými zmierňujúcimi opatreniami.

5.   Vysokorizikové systémy AI musia byť odolné voči pokusom neoprávnených tretích strán o zmenu ich používania, výstupov alebo výkonu využívaním zraniteľností systému.

Technické riešenia zamerané na zabezpečenie kybernetickej bezpečnosti vysokorizikových systémov AI musia byť primerané príslušným okolnostiam a rizikám.

Technické riešenia zamerané na zraniteľnosti špecifické pre AI v prípade potreby zahŕňajú opatrenia na prevenciu, detekciu, reakciu, riešenie a kontrolu v prípade útokov, ktoré sa pokúšajú manipulovať súbor trénovacích údajov (ďalej len „otrávenie údajov“) alebo vopred natrénované komponenty používané pri tréningu (ďalej len „otrávenie modelov“), vstupov koncipovaných tak, aby model AI urobil chybu (ďalej len „odporujúce si príklady“ alebo „oklamanie modelov“), útokov na dôvernosť alebo nedostatkov modelu.