Recital 76

Cybersecurity plays a crucial role in ensuring that AI systems are resilient against attempts to alter their use, behaviour, performance or compromise their security properties by malicious third parties exploiting the system’s vulnerabilities. Cyberattacks against AI systems can leverage AI specific assets, such as training data sets (e.g. data poisoning) or trained models (e.g. adversarial attacks or membership inference), or exploit vulnerabilities in the AI system’s digital assets or the underlying ICT infrastructure. To ensure a level of cybersecurity appropriate to the risks, suitable measures, such as security controls, should therefore be taken by the providers of high-risk AI systems, also taking into account as appropriate the underlying ICT infrastructure.

Cyberbezpieczeństwo odgrywa kluczową rolę w zapewnianiu odporności systemów AI na próby modyfikacji ich wykorzystania, zachowania, skuteczności działania lub obejścia ich zabezpieczeń przez działające w złej wierze osoby trzecie wykorzystujące słabe punkty systemu. Cyberataki na systemy AI mogą polegać na wykorzystaniu konkretnych zasobów AI, takich jak zbiory danych treningowych (np. zatruwanie danych) lub trenowane modele (np. ataki kontradyktoryjne lub ataki wnioskowania o członkostwie), lub wykorzystaniu słabych punktów w zasobach cyfrowych systemu AI lub w bazowej infrastrukturze ICT. Aby zapewnić poziom cyberbezpieczeństwa odpowiedni do ryzyka, dostawcy systemów AI wysokiego ryzyka powinni zatem wdrożyć odpowiednie środki, takie jak mechanizmy kontroli bezpieczeństwa, uwzględniając również w stosownych przypadkach infrastrukturę ICT, na której opiera się dany system.