Considerando 73

I sistemi di IA ad alto rischio dovrebbero essere progettati e sviluppati in modo da consentire alle persone fisiche di sorvegliarne il funzionamento, garantire che siano utilizzati come previsto e che i loro impatti siano affrontati durante il ciclo di vita del sistema. Il fornitore del sistema dovrebbe a tal fine individuare misure di sorveglianza umana adeguate prima dell'immissione del sistema sul mercato o della sua messa in servizio. Tali misure dovrebbero in particolare garantire, ove opportuno, che il sistema sia soggetto a vincoli operativi intrinseci che il sistema stesso non può annullare e che risponda all'operatore umano, e che le persone fisiche alle quali è stata affidata la sorveglianza umana dispongano delle competenze, della formazione e dell'autorità necessarie per svolgere tale ruolo. È inoltre essenziale, se del caso, garantire che i sistemi di IA ad alto rischio includano meccanismi per guidare e informare la persona fisica alla quale è stata affidata la sorveglianza umana affinché prenda decisioni informate in merito alla possibilità, ai tempi e alle modalità di intervento, onde evitare conseguenze negative o rischi, oppure affinché arresti il sistema, qualora non funzionasse come previsto. Tenuto conto delle conseguenze significative per le persone in caso di una corrispondenza non corretta da parte di determinati sistemi di identificazione biometrica, è opportuno prevedere un requisito rafforzato di sorveglianza umana per tali sistemi, in modo che il deployer non possa adottare alcuna azione o decisione sulla base dell'identificazione risultante dal sistema, a meno che ciò non sia stato verificato e confermato separatamente da almeno due persone fisiche. Tali persone potrebbero provenire da una o più entità e comprendere la persona che gestisce o utilizza il sistema. Tale requisito non dovrebbe comportare oneri o ritardi inutili e potrebbe essere sufficiente che le verifiche separate da parte delle diverse persone siano automaticamente registrate nei log generati dal sistema. Date le specificità dei settori delle attività di contrasto, della migrazione, del controllo delle frontiere e dell'asilo, tale requisito non dovrebbe applicarsi se il diritto dell'Unione o nazionale ritenga sproporzionata la sua applicazione.

Hochrisiko-KI-Systeme sollten so gestaltet und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen und sicherstellen können, dass sie bestimmungsgemäß verwendet werden und dass ihre Auswirkungen während des Lebenszyklus des Systems berücksichtigt werden. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen. Es ist außerdem unerlässlich, gegebenenfalls dafür zu sorgen, dass in Hochrisiko-KI-Systemen Mechanismen enthalten sind, um eine natürliche Person, der die menschliche Aufsicht übertragen wurde, zu beraten und zu informieren, damit sie fundierte Entscheidungen darüber trifft, ob, wann und wie einzugreifen ist, um negative Folgen oder Risiken zu vermeiden, oder das System anzuhalten, wenn es nicht wie beabsichtigt funktioniert. Angesichts der bedeutenden Konsequenzen für Personen im Falle eines falschen Treffers durch bestimmte biometrische Identifizierungssysteme ist es angezeigt, für diese Systeme eine verstärkte Anforderung im Hinblick auf die menschliche Aufsicht vorzusehen, sodass der Betreiber keine Maßnahmen oder Entscheidungen aufgrund des vom System hervorgebrachten Identifizierungsergebnisses treffen kann, solange dies nicht von mindestens zwei natürlichen Personen getrennt überprüft und bestätigt wurde. Diese Personen könnten von einer oder mehreren Einrichtungen stammen und die Person umfassen, die das System bedient oder verwendet. Diese Anforderung sollte keine unnötigen Belastungen oder Verzögerungen mit sich bringen, und es könnte ausreichen, dass die getrennten Überprüfungen durch die verschiedenen Personen automatisch in die vom System erzeugten Protokolle aufgenommen werden. Angesichts der Besonderheiten der Bereiche Strafverfolgung, Migration, Grenzkontrolle und Asyl sollte diese Anforderung nicht gelten, wenn die Geltung dieser Anforderung nach Unionsrecht oder nationalem Recht unverhältnismäßig ist.