Considérant 76

La cybersécurité joue un rôle crucial pour ce qui est de garantir la résilience des systèmes d’IA face aux tentatives de détourner leur utilisation, leur comportement ou leur performance ou de compromettre leurs propriétés de sûreté par des tiers malveillants exploitant les vulnérabilités du système. Les cyberattaques contre les systèmes d’IA peuvent passer par des ressources propres à l’IA, telles que les jeux de données d’entraînement (par exemple pour l’empoisonnement de données) ou l’entraînement des modèles (par exemple pour des attaques contradictoires ou des attaques par inférence d’appartenance), ou exploiter les vulnérabilités des ressources numériques du système d’IA ou de l’infrastructure TIC sous-jacente. Pour garantir un niveau de cybersécurité adapté aux risques, des mesures appropriées, telles que des contrôles de sécurité, devraient donc être prises par les fournisseurs de systèmes d’IA à haut risque, en tenant également compte, si nécessaire, de l’infrastructure TIC sous-jacente.

Zásadní úlohu při zajišťování odolnosti systémů AI proti pokusům o změnu jejich použití, chování nebo výkonnosti nebo o ohrožení jejich bezpečnostních vlastností třetími stranami, které se škodlivým záměrem zneužívají zranitelných míst tohoto systému, hraje kybernetická bezpečnost. Kybernetické útoky na systémy AI mohou využívat aspekty, jež jsou pro AI specifické, například soubory trénovacích dat (například tzv. data poisoning) nebo trénované modely (například nepřátelské útoky nebo odvozování členství), nebo zneužívat slabých míst digitálních aktiv daného systému AI nebo příslušné infrastruktury IKT. Pro zajištění úrovně kybernetické bezpečnosti odpovídající těmto rizikům by proto poskytovatelé vysoce rizikových systémů AI měli přijmout vhodná opatření, jako jsou bezpečnostní kontroly, případně současně zohlednit i příslušnou infrastrukturu IKT.