Recital 96

In order to efficiently ensure that fundamental rights are protected, deployers of high-risk AI systems that are bodies governed by public law, or private entities providing public services and deployers of certain high-risk AI systems listed in an annex to this Regulation, such as banking or insurance entities, should carry out a fundamental rights impact assessment prior to putting it into use. Services important for individuals that are of public nature may also be provided by private entities. Private entities providing such public services are linked to tasks in the public interest such as in the areas of education, healthcare, social services, housing, administration of justice. The aim of the fundamental rights impact assessment is for the deployer to identify the specific risks to the rights of individuals or groups of individuals likely to be affected, identify measures to be taken in the case of a materialisation of those risks. The impact assessment should be performed prior to deploying the high-risk AI system, and should be updated when the deployer considers that any of the relevant factors have changed. The impact assessment should identify the deployer’s relevant processes in which the high-risk AI system will be used in line with its intended purpose, and should include a description of the period of time and frequency in which the system is intended to be used as well as of specific categories of natural persons and groups who are likely to be affected in the specific context of use. The assessment should also include the identification of specific risks of harm likely to have an impact on the fundamental rights of those persons or groups. While performing this assessment, the deployer should take into account information relevant to a proper assessment of the impact, including but not limited to the information given by the provider of the high-risk AI system in the instructions for use. In light of the risks identified, deployers should determine measures to be taken in the case of a materialisation of those risks, including for example governance arrangements in that specific context of use, such as arrangements for human oversight according to the instructions of use or, complaint handling and redress procedures, as they could be instrumental in mitigating risks to fundamental rights in concrete use-cases. After performing that impact assessment, the deployer should notify the relevant market surveillance authority. Where appropriate, to collect relevant information necessary to perform the impact assessment, deployers of high-risk AI system, in particular when AI systems are used in the public sector, could involve relevant stakeholders, including the representatives of groups of persons likely to be affected by the AI system, independent experts, and civil society organisations in conducting such impact assessments and designing measures to be taken in the case of materialisation of the risks. The European Artificial Intelligence Office (AI Office) should develop a template for a questionnaire in order to facilitate compliance and reduce the administrative burden for deployers.

Um wirksam sicherzustellen, dass die Grundrechte geschützt werden, sollten Betreiber von Hochrisiko-KI-Systemen, bei denen es sich um Einrichtungen des öffentlichen Rechts oder private Einrichtungen, die öffentliche Dienste erbringen, handelt, und Betreiber, die bestimmte Hochrisiko-KI-Systemen gemäß einem Anhang dieser Verordnung betreiben, wie Bank- oder Versicherungsunternehmen, vor der Inbetriebnahme eine Grundrechte-Folgenabschätzung durchführen. Für Einzelpersonen wichtige Dienstleistungen öffentlicher Art können auch von privaten Einrichtungen erbracht werden. Private Einrichtungen, die solche öffentliche Dienstleistungen erbringen, sind mit Aufgaben im öffentlichen Interesse verknüpft, etwa in den Bereichen Bildung, Gesundheitsversorgung, Sozialdienste, Wohnungswesen und Justizverwaltung. Ziel der Grundrechte-Folgenabschätzung ist es, dass der Betreiber die spezifischen Risiken für die Rechte von Einzelpersonen oder Gruppen von Einzelpersonen, die wahrscheinlich betroffen sein werden, ermittelt und Maßnahmen ermittelt, die im Falle eines Eintretens dieser Risiken zu ergreifen sind. Die Folgenabschätzung sollte vor dem erstmaligen Einsatz des Hochrisiko-KI-Systems durchgeführt werden, und sie sollte aktualisiert werden, wenn der Betreiber der Auffassung ist, dass sich einer der relevanten Faktoren geändert hat. In der Folgenabschätzung sollten die einschlägigen Verfahren des Betreibers, bei denen das Hochrisiko-KI-System im Einklang mit seiner Zweckbestimmung verwendet wird, genannt werden, und sie sollte eine Beschreibung des Zeitraums und der Häufigkeit, innerhalb dessen bzw. mit der das Hochrisiko-KI-System verwendet werden soll, sowie der Kategorien der natürlichen Personen und Gruppen, die im spezifischen Verwendungskontext betroffen sein könnten, enthalten. Die Abschätzung sollte außerdem die spezifischen Schadensrisiken enthalten, die sich auf die Grundrechte dieser Personen oder Gruppen auswirken können. Bei der Durchführung dieser Bewertung sollte der Betreiber Informationen Rechnung tragen, die für eine ordnungsgemäße Abschätzung der Folgen relevant sind, unter anderem die vom Anbieter des Hochrisiko-KI-Systems in der Betriebsanleitung angegebenen Informationen. Angesichts der ermittelten Risiken sollten die Betreiber Maßnahmen festlegen, die im Falle eines Eintretens dieser Risiken zu ergreifen sind, einschließlich beispielsweise Unternehmensführungsregelungen in diesem spezifischen Verwendungskontext, etwa Regelungen für die menschliche Aufsicht gemäß den Betriebsanleitungen oder Verfahren für die Bearbeitung von Beschwerden und Rechtsbehelfsverfahren, da sie dazu beitragen könnten, Risiken für die Grundrechte in konkreten Anwendungsfällen zu mindern. Nach Durchführung dieser Folgenabschätzung sollte der Betreiber die zuständige Marktüberwachungsbehörde unterrichten. Um einschlägige Informationen einzuholen, die für die Durchführung der Folgenabschätzung erforderlich sind, könnten die Betreiber von Hochrisiko-KI-Systemen, insbesondere wenn KI-Systeme im öffentlichen Sektor verwendet werden, relevante Interessenträger, unter anderem Vertreter von Personengruppen, die von dem KI-System betroffen sein könnten, unabhängige Sachverständige und Organisationen der Zivilgesellschaft, in die Durchführung solcher Folgenabschätzungen und die Gestaltung von Maßnahmen, die im Falle des Eintretens der Risiken zu ergreifen sind, einbeziehen. Das Europäische Büro für Künstliche Intelligenz (im Folgenden „Büro für Künstliche Intelligenz“) sollte ein Muster für einen Fragebogen ausarbeiten, um den Betreibern die Einhaltung der Vorschriften zu erleichtern und den Verwaltungsaufwand für sie zu verringern.