Recital 76

Cybersecurity plays a crucial role in ensuring that AI systems are resilient against attempts to alter their use, behaviour, performance or compromise their security properties by malicious third parties exploiting the system’s vulnerabilities. Cyberattacks against AI systems can leverage AI specific assets, such as training data sets (e.g. data poisoning) or trained models (e.g. adversarial attacks or membership inference), or exploit vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure. To ensure a level of cybersecurity appropriate to the risks, suitable measures, such as security controls, should therefore be taken by the providers of high-risk AI systems, also taking into account as appropriate the underlying ICT infrastructure.

Zásadní úlohu při zajišťování odolnosti systémů AI proti pokusům o změnu jejich použití, chování nebo výkonnosti nebo o ohrožení jejich bezpečnostních vlastností třetími stranami, které se škodlivým záměrem zneužívají zranitelných míst tohoto systému, hraje kybernetická bezpečnost. Kybernetické útoky na systémy AI mohou využívat aspekty, jež jsou pro AI specifické, například soubory trénovacích dat (například tzv. data poisoning) nebo trénované modely (například nepřátelské útoky nebo odvozování členství), nebo zneužívat slabých míst digitálních aktiv daného systému AI nebo příslušné infrastruktury IKT. Pro zajištění úrovně kybernetické bezpečnosti odpovídající těmto rizikům by proto poskytovatelé vysoce rizikových systémů AI měli přijmout vhodná opatření, jako jsou bezpečnostní kontroly, případně současně zohlednit i příslušnou infrastrukturu IKT.