Erwägungsgrund 58

Ein weiterer Bereich, in dem der Einsatz von KI-Systemen besondere Aufmerksamkeit verdient, ist der Zugang zu und die Nutzung von bestimmten grundlegenden privaten und öffentlichen Diensten und Leistungen, die erforderlich sind, damit Menschen uneingeschränkt an der Gesellschaft teilhaben oder ihren Lebensstandard verbessern können. Insbesondere natürliche Personen, die grundlegende staatliche Unterstützungsleistungen und -dienste von Behörden beantragen oder erhalten, wie etwa Gesundheitsdienste, Leistungen der sozialen Sicherheit, soziale Dienste, die Schutz in Fällen wie Mutterschaft, Krankheit, Arbeitsunfall, Pflegebedürftigkeit oder Alter und Arbeitsplatzverlust sowie Sozialhilfe und Wohngeld bieten, sind in der Regel von diesen Leistungen und Diensten abhängig und befinden sich gegenüber den zuständigen Behörden in einer prekären Lage. Wenn KI-Systeme eingesetzt werden, um zu bestimmen, ob solche Leistungen und Dienste von den Behörden gewährt, verweigert, gekürzt, widerrufen oder zurückgefordert werden sollten, einschließlich der Frage, ob Begünstigte rechtmäßig Anspruch auf solche Leistungen oder Dienste haben, können diese Systeme erhebliche Auswirkungen auf die Lebensgrundlage von Personen haben und ihre Grundrechte wie etwa das Recht auf sozialen Schutz, Nichtdiskriminierung, Menschenwürde oder einen wirksamen Rechtsbehelf verletzen und sollten daher als hochriskant eingestuft werden. Dennoch sollte diese Verordnung die Entwicklung und Verwendung innovativer Ansätze in der öffentlichen Verwaltung nicht behindern, die von einer breiteren Verwendung konformer und sicherer KI-Systeme profitieren würde, sofern diese Systeme kein hohes Risiko für juristische und natürliche Personen bergen. Darüber hinaus sollten KI-Systeme, die zur Bewertung der Bonität oder Kreditwürdigkeit natürlicher Personen verwendet werden, als Hochrisiko-KI-Systeme eingestuft werden, da sie den Zugang dieser Personen zu Finanzmitteln oder wesentlichen Dienstleistungen wie etwa Wohnraum, Elektrizität und Telekommunikationsdienstleistungen bestimmen. KI-Systeme, die für diese Zwecke eingesetzt werden, können zur Diskriminierung von Personen oder Gruppen führen und historische Diskriminierungsmuster, wie etwa aufgrund der rassischen oder ethnischen Herkunft, des Geschlechts, einer Behinderung, des Alters oder der sexuellen Ausrichtung, fortschreiben oder neue Formen von Diskriminierung mit sich bringen. Allerdings sollten KI-Systeme, die nach Unionsrecht zur Aufdeckung von Betrug beim Angebot von Finanzdienstleistungen oder für Aufsichtszwecke zur Berechnung der Eigenkapitalanforderungen von Kreditinstituten und Versicherungsunternehmen vorgesehen sind, nicht als Hochrisiko-Systeme gemäß dieser Verordnung angesehen werden. Darüber hinaus können KI-Systeme, die für die Risikobewertung und Preisbildung in Bezug auf natürliche Personen im Fall von Kranken- und Lebensversicherungen eingesetzt werden, auch erhebliche Auswirkungen auf die Existenzgrundlage der Menschen haben und bei nicht ordnungsgemäßer Konzeption, Entwicklung und Verwendung schwerwiegende Konsequenzen für das Leben und die Gesundheit von Menschen nach sich ziehen, einschließlich finanzieller Ausgrenzung und Diskriminierung. Schließlich sollten KI-Systeme, die bei der Bewertung und Einstufung von Notrufen durch natürliche Personen oder der Entsendung oder der Priorisierung der Entsendung von Not- und Rettungsdiensten wie Polizei, Feuerwehr und medizinischer Nothilfe sowie für die Triage von Patienten bei der Notfallversorgung eingesetzt werden, ebenfalls als hochriskant eingestuft werden, da sie in für das Leben und die Gesundheit von Personen und für ihr Eigentum sehr kritischen Situationen Entscheidungen treffen.

Un altro settore in cui l'utilizzo dei sistemi di IA merita particolare attenzione è l'accesso ad alcuni servizi e prestazioni essenziali, pubblici e privati, necessari affinché le persone possano partecipare pienamente alla vita sociale o migliorare il proprio tenore di vita, e la fruizione di tali servizi. In particolare, le persone fisiche che chiedono o ricevono prestazioni e servizi essenziali di assistenza pubblica dalle autorità pubbliche, vale a dire servizi sanitari, prestazioni di sicurezza sociale, servizi sociali che forniscono protezione in casi quali la maternità, la malattia, gli infortuni sul lavoro, la dipendenza o la vecchiaia e la perdita di occupazione e l'assistenza sociale e abitativa, sono di norma dipendenti da tali prestazioni e servizi e si trovano generalmente in una posizione vulnerabile rispetto alle autorità responsabili. I sistemi di IA, se utilizzati per determinare se tali prestazioni e servizi dovrebbero essere concessi, negati, ridotti, revocati o recuperati dalle autorità, compreso se i beneficiari hanno legittimamente diritto a tali prestazioni o servizi, possono avere un impatto significativo sul sostentamento delle persone e violare i loro diritti fondamentali, quali il diritto alla protezione sociale, alla non discriminazione, alla dignità umana o a un ricorso effettivo e dovrebbero pertanto essere classificati come sistemi ad alto rischio. Cionondimeno, il presente regolamento non dovrebbe ostacolare lo sviluppo e l'utilizzo di approcci innovativi nella pubblica amministrazione, che trarrebbero beneficio da un uso più ampio di sistemi di IA conformi e sicuri, a condizione che tali sistemi non comportino un rischio alto per le persone fisiche e giuridiche. È inoltre opportuno classificare i sistemi di IA utilizzati per valutare il merito di credito o l'affidabilità creditizia delle persone fisiche come sistemi di IA ad alto rischio, in quanto determinano l'accesso di tali persone alle risorse finanziarie o a servizi essenziali quali l'alloggio, l'elettricità e i servizi di telecomunicazione. I sistemi di IA utilizzati a tali fini possono portare alla discriminazione fra persone o gruppi e possono perpetuare modelli storici di discriminazione, come quella basata sull'origine razziale o etnica, sul genere, sulle disabilità, sull'età o sull'orientamento sessuale, o possono dar vita a nuove forme di impatti discriminatori. Tuttavia, i sistemi di IA previsti dal diritto dell'Unione al fine di individuare frodi nell'offerta di servizi finanziari e a fini prudenziali per calcolare i requisiti patrimoniali degli enti creditizi e delle imprese assicurative non dovrebbero essere considerati ad alto rischio ai sensi del presente regolamento. Inoltre, anche i sistemi di IA destinati a essere utilizzati per la valutazione dei rischi e la determinazione dei prezzi in relazione alle persone fisiche per assicurazioni sulla vita e assicurazioni sanitarie possono avere un impatto significativo sul sostentamento delle persone e, se non debitamente progettati, sviluppati e utilizzati, possono violare i loro diritti fondamentali e comportare gravi conseguenze per la vita e la salute delle persone, tra cui l'esclusione finanziaria e la discriminazione. Infine, è opportuno classificare come ad alto rischio anche i sistemi di IA utilizzati per valutare e classificare le chiamate di emergenza effettuate da persone fisiche o inviare servizi di emergenza di primo soccorso o per stabilire priorità in merito all'invio di tali servizi, anche da parte di polizia, vigili del fuoco e assistenza medica, nonché per i sistemi di selezione dei pazienti per quanto concerne l'assistenza sanitaria di emergenza in quanto prendono decisioni in situazioni molto critiche per la vita e la salute delle persone e per i loro beni.