Erwägungsgrund 65
Deutsch
Das Risikomanagementsystem sollte in einem kontinuierlichen iterativen Prozess bestehen, der während des gesamten Lebenszyklus eines Hochrisiko-KI-Systems geplant und durchgeführt wird. Ziel dieses Prozesses sollte es ein, die einschlägigen Risiken von KI-Systemen für Gesundheit, Sicherheit und Grundrechte zu ermitteln und zu mindern. Das Risikomanagementsystem sollte regelmäßig überprüft und aktualisiert werden, um seine dauerhafte Wirksamkeit sowie die Begründetheit und Dokumentierung aller gemäß dieser Verordnung getroffenen wesentlichen Entscheidungen und Maßnahmen zu gewährleisten. Mit diesem Prozess sollte sichergestellt werden, dass der Anbieter Risiken oder negative Auswirkungen ermittelt und Minderungsmaßnahmen ergreift in Bezug auf die bekannten und vernünftigerweise vorhersehbaren Risiken von KI-Systemen für die Gesundheit, die Sicherheit und die Grundrechte angesichts ihrer Zweckbestimmung und vernünftigerweise vorhersehbaren Fehlanwendung, einschließlich der möglichen Risiken, die sich aus der Interaktion zwischen dem KI-System und der Umgebung, in der es betrieben wird, ergeben könnten. Im Rahmen des Risikomanagementsystems sollten die vor dem Hintergrund des Stands der KI am besten geeigneten Risikomanagementmaßnahmen ergriffen werden. Bei der Ermittlung der am besten geeigneten Risikomanagementmaßnahmen sollte der Anbieter die getroffenen Entscheidungen dokumentieren und erläutern und gegebenenfalls Sachverständige und externe Interessenträger hinzuziehen. Bei der Ermittlung der vernünftigerweise vorhersehbaren Fehlanwendung von Hochrisiko-KI-Systemen sollte der Anbieter die Verwendungen von KI-Systemen erfassen, die zwar nicht unmittelbar der Zweckbestimmung entsprechen und in der Betriebsanleitung vorgesehen sind, jedoch nach vernünftigem Ermessen davon auszugehen ist, dass sie sich aus einem leicht absehbaren menschlichen Verhalten im Zusammenhang mit den spezifischen Merkmalen und der Verwendung eines bestimmten KI-Systems ergeben. Alle bekannten oder vorhersehbaren Umstände bezüglich der Verwendung des Hochrisiko-KI-Systems im Einklang mit seiner Zweckbestimmung oder einer vernünftigerweise vorhersehbaren Fehlanwendung, die zu Risiken für die Gesundheit und Sicherheit oder die Grundrechte führen können, sollten vom Anbieter in der Betriebsanleitung aufgeführt werden. Damit soll sichergestellt werden, dass der Betreiber diese Umstände bei der Nutzung des Hochrisiko-KI-Systems kennt und berücksichtigt. Die Ermittlung und Umsetzung von Risikominderungsmaßnahmen in Bezug auf vorhersehbare Fehlanwendungen im Rahmen dieser Verordnung sollte keine spezifische zusätzliche Schulung für das Hochrisiko-KI-System durch den Anbieter erfordern, um gegen vorhersehbare Fehlanwendungen vorzugehen. Die Anbieter sind jedoch gehalten, solche zusätzlichen Schulungsmaßnahmen in Erwägung zu ziehen, um einer vernünftigerweise vorhersehbare Fehlanwendung entgegenzuwirken, soweit dies erforderlich und angemessen ist.
Italiano
Il sistema di gestione dei rischi dovrebbe essere costituito da un processo iterativo continuo pianificato ed eseguito nel corso dell'intero ciclo di vita di un sistema di IA ad alto rischio. Tale processo dovrebbe mirare a individuare e attenuare i rischi pertinenti dei sistemi di IA per la salute, la sicurezza e i diritti fondamentali. Il sistema di gestione dei rischi dovrebbe essere periodicamente riesaminato e aggiornato per garantirne l'efficacia costante, nonché la giustificazione e la documentazione delle eventuali decisioni e azioni significative adottate a norma del presente regolamento. Tale processo dovrebbe garantire che il fornitore individui rischi o impatti negativi e attui misure di attenuazione per i rischi noti e ragionevolmente prevedibili dei sistemi di IA per la salute, la sicurezza e i diritti fondamentali alla luce della loro finalità prevista e del loro uso improprio ragionevolmente prevedibile, compresi gli eventuali rischi derivanti dall'interazione tra il sistema di IA e l'ambiente in cui opera. Il sistema di gestione dei rischi dovrebbe adottare le misure di gestione dei rischi più appropriate alla luce dello stato dell'arte in materia di IA. Nell'individuare le misure di gestione dei rischi più appropriate, il fornitore dovrebbe documentare e spiegare le scelte effettuate e, se del caso, coinvolgere esperti e portatori di interessi esterni. Nell'individuare l'uso improprio ragionevolmente prevedibile dei sistemi di IA ad alto rischio, il fornitore dovrebbe contemplare gli usi di sistemi di IA che, pur non essendo direttamente coperti dalla finalità prevista e considerati nelle istruzioni per l'uso, si può ragionevolmente prevedere derivino da un comportamento umano facilmente prevedibile nel contesto delle caratteristiche e dell'uso specifici di un determinato sistema di IA. Qualsiasi circostanza nota o prevedibile connessa all'uso del sistema di IA ad alto rischio in conformità della sua finalità prevista o in condizioni di uso improprio ragionevolmente prevedibile, che possa comportare rischi per la salute e la sicurezza o per i diritti fondamentali, dovrebbe essere inclusa nelle istruzioni per l'uso fornite dal fornitore. L'obiettivo è garantire che il deployer sia consapevole e ne tenga conto quando utilizza il sistema di IA ad alto rischio. L'individuazione e l'attuazione di misure di attenuazione dei rischi per un uso improprio prevedibile a norma del presente regolamento non dovrebbero richiedere, da parte del fornitore per farvi fronte, specifiche formazioni aggiuntive per il sistema di IA ad alto rischio. I fornitori sono tuttavia incoraggiati a prendere in considerazione tali misure di formazione aggiuntive per attenuare gli usi impropri ragionevolmente prevedibili, ove necessario e opportuno.