Motyw 58

Innym obszarem, w którym wykorzystanie systemów AI wymaga szczególnej uwagi, jest dostęp do niektórych podstawowych usług i świadczeń prywatnych i publicznych niezbędnych ludziom do pełnego uczestnictwa w życiu społecznym lub do poprawy poziomu życia oraz korzystanie z tych usług i świadczeń. W szczególności osoby fizyczne ubiegające się o podstawowe świadczenia i usługi w ramach pomocy publicznej lub korzystające z takich świadczeń i usług zapewnianych przez organy publiczne, a mianowicie usług opieki zdrowotnej, świadczeń z zabezpieczenia społecznego, usług społecznych zapewniających ochronę w przypadkach takich jak macierzyństwo, choroba, wypadki przy pracy, zależność lub podeszły wiek oraz utrata zatrudnienia, a także z pomocy społecznej i mieszkaniowej, są zazwyczaj zależne od tych świadczeń i usług oraz znajdują się w słabszym położeniu względem odpowiedzialnych organów. Jeżeli systemy AI są wykorzystywane do ustalenia, czy organy powinny przyznać takie świadczenia i usługi, odmówić ich, ograniczyć je, cofnąć lub odzyskać, w tym do stwierdzenia, czy świadczeniobiorcy są w świetle prawa uprawnieni do takich świadczeń lub usług, systemy te mogą mieć znaczący wpływ na źródła utrzymania osób i mogą naruszać ich prawa podstawowe, takie jak prawo do ochrony socjalnej, niedyskryminacji, godności człowieka lub skutecznego środka prawnego i w związku z tym systemy te należy zaklasyfikować jako systemy wysokiego ryzyka. Niniejsze rozporządzenie nie powinno jednak utrudniać rozwoju i stosowania innowacyjnych rozwiązań w administracji publicznej, która może odnieść korzyści z powszechniejszego wykorzystywania zgodnych i bezpiecznych systemów AI, pod warunkiem że systemy te nie stwarzają wysokiego ryzyka dla osób prawnych i fizycznych. Ponadto jako systemy wysokiego ryzyka należy zaklasyfikować systemy AI wykorzystywane do przeprowadzania scoringu kredytowego lub oceny zdolności kredytowej osób fizycznych, ponieważ systemy te decydują o dostępie tych osób do zasobów finansowych lub podstawowych usług, takich jak mieszkalnictwo, energia elektryczna i usługi telekomunikacyjne. Systemy AI wykorzystywane do tych celów mogą prowadzić do dyskryminacji osób lub grup i mogą utrwalać historyczne wzorce dyskryminacji, takie jak dyskryminacja ze względu na pochodzenie rasowe lub etniczne, płeć, niepełnosprawność, wiek, orientację seksualną, lub mogą powodować powstawanie nowych rodzajów dyskryminacji. Za systemy wysokiego ryzyka na mocy niniejszego rozporządzenia nie należy jednak uznawać systemów AI przewidzianych w prawie Unii do celów wykrywania oszustw w ramach oferowania usług finansowych oraz do celów ostrożnościowych do obliczania wymogów kapitałowych instytucji kredytowych i zakładów ubezpieczeń. Ponadto systemy AI przeznaczone do przeprowadzania oceny ryzyka w przypadku ubezpieczenia zdrowotnego i na życie dla osób fizycznych i ustalania cen tych ubezpieczeń mogą mieć również znaczący wpływ na źródła utrzymania osób, a jeżeli nie są odpowiednio zaprojektowane, rozwinięte i wykorzystywane, mogą naruszać ich prawa podstawowe i prowadzić do poważnych konsekwencji dla życia i zdrowia ludzi, w tym wykluczenia finansowego i dyskryminacji. Wreszcie systemy AI przeznaczone do przeprowadzania oceny i klasyfikowania zgłoszeń alarmowych dokonywanych przez osoby fizyczne lub do wysyłania lub ustalania priorytetów w wysyłaniu służb pierwszej pomocy, w tym policji, straży pożarnej i pomocy medycznej, a także w ramach systemów oceny stanu zdrowia pacjentów w nagłych wypadkach, należy zaklasyfikować jako systemy wysokiego ryzyka, ponieważ służą one do podejmowania decyzji o krytycznym znaczeniu dla życia i zdrowia osób oraz ich mienia.

Ďalšou oblasťou, v ktorej si využívanie systémov AI zaslúži osobitnú pozornosť, je prístup k určitým základným súkromným a verejným službám a dávkam, ktoré sú potrebné na to, aby sa ľudia mohli plne zapojiť do spoločnosti alebo si mohli zlepšiť životnú úroveň, a ich využívanie. Najmä fyzické osoby, ktoré žiadajú orgány verejnej moci o základné dávky a služby verejnej pomoci alebo ktoré ich od týchto orgánov dostávajú, konkrétne služby zdravotnej starostlivosti, dávky sociálneho zabezpečenia, sociálne služby poskytujúce ochranu v prípadoch, ako je materstvo, choroba, pracovné úrazy, závislosť alebo staroba a strata zamestnania a sociálna pomoc a pomoc pri bývaní, sú zvyčajne závislé od týchto dávok a služieb a sú vo vzťahu k zodpovedným orgánom v zraniteľnom postavení. Ak sa systémy AI používajú na určenie toho, či by orgány mali takéto dávky a služby poskytnúť, zamietnuť, znížiť, zrušiť alebo žiadať o ich vrátenie, vrátane toho, či majú poberatelia oprávnený nárok na takéto dávky alebo služby, takéto systémy môžu mať významný vplyv na živobytie osôb a môžu porušovať ich základné práva, ako je právo na sociálnu ochranu, nediskrimináciu, ľudskú dôstojnosť alebo účinný prostriedok nápravy, a mali by sa preto klasifikovať ako vysokorizikové. Toto nariadenie by však nemalo brániť vývoju a využívaniu inovačných prístupov vo verejnej správe, pre ktorú by mohlo byť širšie využívanie vyhovujúcich a bezpečných systémov AI prospešné, za predpokladu, že tieto systémy nepredstavujú vysoké riziko pre právnické a fyzické osoby. Ako vysokorizikové by sa okrem toho mali klasifikovať aj systémy AI používané na bodové hodnotenie kreditného rizika alebo hodnotenie úverovej bonity fyzických osôb, pretože určujú prístup týchto osôb k finančným zdrojom alebo základným službám, ako sú bývanie, elektrická energia a telekomunikačné služby. Systémy AI používané na takéto účely môžu viesť k diskriminácii osôb alebo skupín a môžu zachovávať zaužívané vzorce diskriminácie, napríklad na základe rasového alebo etnického pôvodu, rodu, zdravotných postihnutí, veku alebo sexuálnej orientácie, alebo môžu vytvárať nové formy diskriminačných vplyvov. Systémy AI stanovené v práve Únie na účely odhaľovania podvodov pri ponúkaní finančných služieb a na prudenciálne účely výpočtu kapitálových požiadaviek úverových inštitúcií a poisťovní by sa však podľa tohto nariadenia nemali považovať za vysokorizikové. Okrem toho systémy AI, ktoré sa majú používať na posudzovanie rizika a stanovovanie cien v súvislosti s fyzickými osobami na účely zdravotného a životného poistenia, môžu mať tiež významný vplyv na živobytie osôb, a ak nie sú riadne dizajnované, vyvinuté a používané, môžu porušovať ich základné práva a viesť k vážnym dôsledkom pre život a zdravie ľudí vrátane finančného vylúčenia a diskriminácie. Napokon, ako vysokorizikové by sa mali klasifikovať aj systémy AI používané na hodnotenie a klasifikáciu tiesňových volaní fyzických osôb alebo na vysielanie alebo prioritizáciu vysielania záchranných služieb prvej reakcie, vrátane polície, hasičov a zdravotnej pomoci, ako aj systémy triedenia pacientov v rámci pohotovostnej zdravotnej starostlivosti, pretože prijímajú rozhodnutia v situáciách, ktoré sú veľmi kritické z hľadiska života a zdravia osôb a ich majetku.