Recital 133

A variety of AI systems can generate large quantities of synthetic content that becomes increasingly hard for humans to distinguish from human-generated and authentic content. The wide availability and increasing capabilities of those systems have a significant impact on the integrity and trust in the information ecosystem, raising new risks of misinformation and manipulation at scale, fraud, impersonation and consumer deception. In light of those impacts, the fast technological pace and the need for new methods and techniques to trace origin of information, it is appropriate to require providers of those systems to embed technical solutions that enable marking in a machine readable format and detection that the output has been generated or manipulated by an AI system and not a human. Such techniques and methods should be sufficiently reliable, interoperable, effective and robust as far as this is technically feasible, taking into account available techniques or a combination of such techniques, such as watermarks, metadata identifications, cryptographic methods for proving provenance and authenticity of content, logging methods, fingerprints or other techniques, as may be appropriate. When implementing this obligation, providers should also take into account the specificities and the limitations of the different types of content and the relevant technological and market developments in the field, as reflected in the generally acknowledged state of the art. Such techniques and methods can be implemented at the level of the AI system or at the level of the AI model, including general-purpose AI models generating content, thereby facilitating fulfilment of this obligation by the downstream provider of the AI system. To remain proportionate, it is appropriate to envisage that this marking obligation should not cover AI systems performing primarily an assistive function for standard editing or AI systems not substantially altering the input data provided by the deployer or the semantics thereof.

Divers systèmes d’IA peuvent générer de grandes quantités de contenu de synthèse qu’il devient de plus en plus difficile pour les êtres humains de distinguer du contenu authentique généré par des humains. La large disponibilité et les capacités croissantes de ces systèmes ont des conséquences importantes sur l’intégrité de l’écosystème informationnel et la confiance en celui-ci, ce qui pose de nouveaux risques de désinformation et de manipulation à grande échelle, de fraude, d’usurpation d’identité et de tromperie des consommateurs. Compte tenu de ces effets, du rythme rapide de l’évolution technologique et de la nécessité de nouvelles méthodes et techniques pour déterminer l’origine des informations, il convient d’exiger que les fournisseurs de ces systèmes intègrent des solutions techniques permettant le marquage dans un format lisible par machine et la détection du fait que les sorties ont été générées ou manipulées par un système d’IA, et non par un être humain. De telles techniques et méthodes devraient être aussi fiables, interopérables, efficaces et solides que la technologie le permet, et tenir compte des techniques disponibles ou d’une combinaison de ces techniques, telles que les filigranes, les identifications de métadonnées, les méthodes cryptographiques permettant de prouver la provenance et l’authenticité du contenu, les méthodes d’enregistrement, les empreintes digitales ou d’autres techniques, selon qu’il convient. Lorsqu’ils mettent en œuvre cette obligation, les fournisseurs devraient également tenir compte des spécificités et des limites des différents types de contenu, ainsi que des évolutions technologiques et du marché pertinentes dans le domaine, tels qu’elles ressortent de l’état de la technique généralement reconnu. Ces techniques et méthodes peuvent être mises en œuvre au niveau du système d’IA ou au niveau du modèle d’IA, y compris pour les modèles d’IA à usage général qui génèrent du contenu, ce qui facilitera l’accomplissement de cette obligation par le fournisseur en aval du système d’IA. Dans un souci de proportionnalité, il convient d’envisager que cette obligation de marquage ne s’applique pas aux systèmes d’IA qui remplissent une fonction d’assistance pour la mise en forme standard ou les systèmes d’IA qui ne modifient pas de manière substantielle les données d’entrée fournies par le déployeur ou leur sémantique.