Considerando 58

Un altro settore in cui l'utilizzo dei sistemi di IA merita particolare attenzione è l'accesso ad alcuni servizi e prestazioni essenziali, pubblici e privati, necessari affinché le persone possano partecipare pienamente alla vita sociale o migliorare il proprio tenore di vita, e la fruizione di tali servizi. In particolare, le persone fisiche che chiedono o ricevono prestazioni e servizi essenziali di assistenza pubblica dalle autorità pubbliche, vale a dire servizi sanitari, prestazioni di sicurezza sociale, servizi sociali che forniscono protezione in casi quali la maternità, la malattia, gli infortuni sul lavoro, la dipendenza o la vecchiaia e la perdita di occupazione e l'assistenza sociale e abitativa, sono di norma dipendenti da tali prestazioni e servizi e si trovano generalmente in una posizione vulnerabile rispetto alle autorità responsabili. I sistemi di IA, se utilizzati per determinare se tali prestazioni e servizi dovrebbero essere concessi, negati, ridotti, revocati o recuperati dalle autorità, compreso se i beneficiari hanno legittimamente diritto a tali prestazioni o servizi, possono avere un impatto significativo sul sostentamento delle persone e violare i loro diritti fondamentali, quali il diritto alla protezione sociale, alla non discriminazione, alla dignità umana o a un ricorso effettivo e dovrebbero pertanto essere classificati come sistemi ad alto rischio. Cionondimeno, il presente regolamento non dovrebbe ostacolare lo sviluppo e l'utilizzo di approcci innovativi nella pubblica amministrazione, che trarrebbero beneficio da un uso più ampio di sistemi di IA conformi e sicuri, a condizione che tali sistemi non comportino un rischio alto per le persone fisiche e giuridiche. È inoltre opportuno classificare i sistemi di IA utilizzati per valutare il merito di credito o l'affidabilità creditizia delle persone fisiche come sistemi di IA ad alto rischio, in quanto determinano l'accesso di tali persone alle risorse finanziarie o a servizi essenziali quali l'alloggio, l'elettricità e i servizi di telecomunicazione. I sistemi di IA utilizzati a tali fini possono portare alla discriminazione fra persone o gruppi e possono perpetuare modelli storici di discriminazione, come quella basata sull'origine razziale o etnica, sul genere, sulle disabilità, sull'età o sull'orientamento sessuale, o possono dar vita a nuove forme di impatti discriminatori. Tuttavia, i sistemi di IA previsti dal diritto dell'Unione al fine di individuare frodi nell'offerta di servizi finanziari e a fini prudenziali per calcolare i requisiti patrimoniali degli enti creditizi e delle imprese assicurative non dovrebbero essere considerati ad alto rischio ai sensi del presente regolamento. Inoltre, anche i sistemi di IA destinati a essere utilizzati per la valutazione dei rischi e la determinazione dei prezzi in relazione alle persone fisiche per assicurazioni sulla vita e assicurazioni sanitarie possono avere un impatto significativo sul sostentamento delle persone e, se non debitamente progettati, sviluppati e utilizzati, possono violare i loro diritti fondamentali e comportare gravi conseguenze per la vita e la salute delle persone, tra cui l'esclusione finanziaria e la discriminazione. Infine, è opportuno classificare come ad alto rischio anche i sistemi di IA utilizzati per valutare e classificare le chiamate di emergenza effettuate da persone fisiche o inviare servizi di emergenza di primo soccorso o per stabilire priorità in merito all'invio di tali servizi, anche da parte di polizia, vigili del fuoco e assistenza medica, nonché per i sistemi di selezione dei pazienti per quanto concerne l'assistenza sanitaria di emergenza in quanto prendono decisioni in situazioni molto critiche per la vita e la salute delle persone e per i loro beni.

Ďalšou oblasťou, v ktorej si využívanie systémov AI zaslúži osobitnú pozornosť, je prístup k určitým základným súkromným a verejným službám a dávkam, ktoré sú potrebné na to, aby sa ľudia mohli plne zapojiť do spoločnosti alebo si mohli zlepšiť životnú úroveň, a ich využívanie. Najmä fyzické osoby, ktoré žiadajú orgány verejnej moci o základné dávky a služby verejnej pomoci alebo ktoré ich od týchto orgánov dostávajú, konkrétne služby zdravotnej starostlivosti, dávky sociálneho zabezpečenia, sociálne služby poskytujúce ochranu v prípadoch, ako je materstvo, choroba, pracovné úrazy, závislosť alebo staroba a strata zamestnania a sociálna pomoc a pomoc pri bývaní, sú zvyčajne závislé od týchto dávok a služieb a sú vo vzťahu k zodpovedným orgánom v zraniteľnom postavení. Ak sa systémy AI používajú na určenie toho, či by orgány mali takéto dávky a služby poskytnúť, zamietnuť, znížiť, zrušiť alebo žiadať o ich vrátenie, vrátane toho, či majú poberatelia oprávnený nárok na takéto dávky alebo služby, takéto systémy môžu mať významný vplyv na živobytie osôb a môžu porušovať ich základné práva, ako je právo na sociálnu ochranu, nediskrimináciu, ľudskú dôstojnosť alebo účinný prostriedok nápravy, a mali by sa preto klasifikovať ako vysokorizikové. Toto nariadenie by však nemalo brániť vývoju a využívaniu inovačných prístupov vo verejnej správe, pre ktorú by mohlo byť širšie využívanie vyhovujúcich a bezpečných systémov AI prospešné, za predpokladu, že tieto systémy nepredstavujú vysoké riziko pre právnické a fyzické osoby. Ako vysokorizikové by sa okrem toho mali klasifikovať aj systémy AI používané na bodové hodnotenie kreditného rizika alebo hodnotenie úverovej bonity fyzických osôb, pretože určujú prístup týchto osôb k finančným zdrojom alebo základným službám, ako sú bývanie, elektrická energia a telekomunikačné služby. Systémy AI používané na takéto účely môžu viesť k diskriminácii osôb alebo skupín a môžu zachovávať zaužívané vzorce diskriminácie, napríklad na základe rasového alebo etnického pôvodu, rodu, zdravotných postihnutí, veku alebo sexuálnej orientácie, alebo môžu vytvárať nové formy diskriminačných vplyvov. Systémy AI stanovené v práve Únie na účely odhaľovania podvodov pri ponúkaní finančných služieb a na prudenciálne účely výpočtu kapitálových požiadaviek úverových inštitúcií a poisťovní by sa však podľa tohto nariadenia nemali považovať za vysokorizikové. Okrem toho systémy AI, ktoré sa majú používať na posudzovanie rizika a stanovovanie cien v súvislosti s fyzickými osobami na účely zdravotného a životného poistenia, môžu mať tiež významný vplyv na živobytie osôb, a ak nie sú riadne dizajnované, vyvinuté a používané, môžu porušovať ich základné práva a viesť k vážnym dôsledkom pre život a zdravie ľudí vrátane finančného vylúčenia a diskriminácie. Napokon, ako vysokorizikové by sa mali klasifikovať aj systémy AI používané na hodnotenie a klasifikáciu tiesňových volaní fyzických osôb alebo na vysielanie alebo prioritizáciu vysielania záchranných služieb prvej reakcie, vrátane polície, hasičov a zdravotnej pomoci, ako aj systémy triedenia pacientov v rámci pohotovostnej zdravotnej starostlivosti, pretože prijímajú rozhodnutia v situáciách, ktoré sú veľmi kritické z hľadiska života a zdravia osôb a ich majetku.