Motyw 73

Systemy AI wysokiego ryzyka należy projektować i rozwijać w taki sposób, aby osoby fizyczne mogły nadzorować ich funkcjonowanie, zapewniać, by ich wykorzystanie było zgodne z przeznaczeniem oraz zapewniać, aby skutki ich wykorzystania były uwzględniane w całym cyklu życia systemu. W tym celu przed wprowadzeniem systemu do obrotu lub oddaniem go do użytku dostawca systemu powinien określić odpowiednie środki związane z nadzorem ze strony człowieka. W szczególności, w stosownych przypadkach, takie środki powinny gwarantować, że system podlega wbudowanym ograniczeniom operacyjnym, których sam nie jest w stanie obejść, i reaguje na działania człowieka – operatora systemu, oraz że osoby fizyczne, którym powierzono sprawowanie nadzoru ze strony człowieka, posiadają niezbędne kompetencje, przeszkolenie i uprawnienia do pełnienia tej funkcji. W stosownych przypadkach istotne jest także zapewnienie, aby systemy AI wysokiego ryzyka obejmowały mechanizmy udzielania wskazówek i informacji osobom fizycznym, którym powierzono nadzór ze strony człowieka, aby mogły one podejmować świadome decyzje, czy, kiedy i w jaki sposób należy interweniować w celu uniknięcia negatywnych konsekwencji lub ryzyka lub zatrzymać system, jeżeli nie działa on zgodnie z przeznaczeniem. Zważywszy na istotne konsekwencje dla osób w przypadku nieprawidłowego dopasowania przez niektóre systemy identyfikacji biometrycznej, należy wprowadzić wymóg sprawowania w odniesieniu do tych systemów wzmocnionego nadzoru ze strony człowieka, tak aby podmiot stosujący nie mógł podejmować żadnych działań ani decyzji na podstawie identyfikacji wynikającej z systemu, dopóki nie została ona odrębnie zweryfikowana i potwierdzona przez co najmniej dwie osoby fizyczne. Osoby te mogą pochodzić z różnych podmiotów i mogą to być osoby obsługujące system lub z niego korzystające. Wymóg ten nie powinien powodować niepotrzebnych obciążeń ani opóźnień i powinno wystarczyć, że odrębne weryfikacje dokonywane przez różne osoby będą automatycznie rejestrowane w wygenerowanych przez system rejestrach zdarzeń. Biorąc pod uwagę specyfikę obszarów ścigania przestępstw, migracji, kontroli granicznej i azylu, wymóg ten nie powinien mieć zastosowania, jeżeli na mocy prawa Unii lub prawa krajowego stosowanie tego wymogu uznaje się za nieproporcjonalne.

Hochrisiko-KI-Systeme sollten so gestaltet und entwickelt werden, dass natürliche Personen ihre Funktionsweise überwachen und sicherstellen können, dass sie bestimmungsgemäß verwendet werden und dass ihre Auswirkungen während des Lebenszyklus des Systems berücksichtigt werden. Zu diesem Zweck sollte der Anbieter des Systems vor dem Inverkehrbringen oder der Inbetriebnahme geeignete Maßnahmen zur Gewährleistung der menschlichen Aufsicht festlegen. Insbesondere sollten solche Maßnahmen gegebenenfalls gewährleisten, dass das System integrierten Betriebseinschränkungen unterliegt, über die sich das System selbst nicht hinwegsetzen kann, dass es auf den menschlichen Bediener reagiert und dass die natürlichen Personen, denen die menschliche Aufsicht übertragen wurde, über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, um diese Aufgabe wahrzunehmen. Es ist außerdem unerlässlich, gegebenenfalls dafür zu sorgen, dass in Hochrisiko-KI-Systemen Mechanismen enthalten sind, um eine natürliche Person, der die menschliche Aufsicht übertragen wurde, zu beraten und zu informieren, damit sie fundierte Entscheidungen darüber trifft, ob, wann und wie einzugreifen ist, um negative Folgen oder Risiken zu vermeiden, oder das System anzuhalten, wenn es nicht wie beabsichtigt funktioniert. Angesichts der bedeutenden Konsequenzen für Personen im Falle eines falschen Treffers durch bestimmte biometrische Identifizierungssysteme ist es angezeigt, für diese Systeme eine verstärkte Anforderung im Hinblick auf die menschliche Aufsicht vorzusehen, sodass der Betreiber keine Maßnahmen oder Entscheidungen aufgrund des vom System hervorgebrachten Identifizierungsergebnisses treffen kann, solange dies nicht von mindestens zwei natürlichen Personen getrennt überprüft und bestätigt wurde. Diese Personen könnten von einer oder mehreren Einrichtungen stammen und die Person umfassen, die das System bedient oder verwendet. Diese Anforderung sollte keine unnötigen Belastungen oder Verzögerungen mit sich bringen, und es könnte ausreichen, dass die getrennten Überprüfungen durch die verschiedenen Personen automatisch in die vom System erzeugten Protokolle aufgenommen werden. Angesichts der Besonderheiten der Bereiche Strafverfolgung, Migration, Grenzkontrolle und Asyl sollte diese Anforderung nicht gelten, wenn die Geltung dieser Anforderung nach Unionsrecht oder nationalem Recht unverhältnismäßig ist.