Odôvodnenie 58

Ďalšou oblasťou, v ktorej si využívanie systémov AI zaslúži osobitnú pozornosť, je prístup k určitým základným súkromným a verejným službám a dávkam, ktoré sú potrebné na to, aby sa ľudia mohli plne zapojiť do spoločnosti alebo si mohli zlepšiť životnú úroveň, a ich využívanie. Najmä fyzické osoby, ktoré žiadajú orgány verejnej moci o základné dávky a služby verejnej pomoci alebo ktoré ich od týchto orgánov dostávajú, konkrétne služby zdravotnej starostlivosti, dávky sociálneho zabezpečenia, sociálne služby poskytujúce ochranu v prípadoch, ako je materstvo, choroba, pracovné úrazy, závislosť alebo staroba a strata zamestnania a sociálna pomoc a pomoc pri bývaní, sú zvyčajne závislé od týchto dávok a služieb a sú vo vzťahu k zodpovedným orgánom v zraniteľnom postavení. Ak sa systémy AI používajú na určenie toho, či by orgány mali takéto dávky a služby poskytnúť, zamietnuť, znížiť, zrušiť alebo žiadať o ich vrátenie, vrátane toho, či majú poberatelia oprávnený nárok na takéto dávky alebo služby, takéto systémy môžu mať významný vplyv na živobytie osôb a môžu porušovať ich základné práva, ako je právo na sociálnu ochranu, nediskrimináciu, ľudskú dôstojnosť alebo účinný prostriedok nápravy, a mali by sa preto klasifikovať ako vysokorizikové. Toto nariadenie by však nemalo brániť vývoju a využívaniu inovačných prístupov vo verejnej správe, pre ktorú by mohlo byť širšie využívanie vyhovujúcich a bezpečných systémov AI prospešné, za predpokladu, že tieto systémy nepredstavujú vysoké riziko pre právnické a fyzické osoby. Ako vysokorizikové by sa okrem toho mali klasifikovať aj systémy AI používané na bodové hodnotenie kreditného rizika alebo hodnotenie úverovej bonity fyzických osôb, pretože určujú prístup týchto osôb k finančným zdrojom alebo základným službám, ako sú bývanie, elektrická energia a telekomunikačné služby. Systémy AI používané na takéto účely môžu viesť k diskriminácii osôb alebo skupín a môžu zachovávať zaužívané vzorce diskriminácie, napríklad na základe rasového alebo etnického pôvodu, rodu, zdravotných postihnutí, veku alebo sexuálnej orientácie, alebo môžu vytvárať nové formy diskriminačných vplyvov. Systémy AI stanovené v práve Únie na účely odhaľovania podvodov pri ponúkaní finančných služieb a na prudenciálne účely výpočtu kapitálových požiadaviek úverových inštitúcií a poisťovní by sa však podľa tohto nariadenia nemali považovať za vysokorizikové. Okrem toho systémy AI, ktoré sa majú používať na posudzovanie rizika a stanovovanie cien v súvislosti s fyzickými osobami na účely zdravotného a životného poistenia, môžu mať tiež významný vplyv na živobytie osôb, a ak nie sú riadne dizajnované, vyvinuté a používané, môžu porušovať ich základné práva a viesť k vážnym dôsledkom pre život a zdravie ľudí vrátane finančného vylúčenia a diskriminácie. Napokon, ako vysokorizikové by sa mali klasifikovať aj systémy AI používané na hodnotenie a klasifikáciu tiesňových volaní fyzických osôb alebo na vysielanie alebo prioritizáciu vysielania záchranných služieb prvej reakcie, vrátane polície, hasičov a zdravotnej pomoci, ako aj systémy triedenia pacientov v rámci pohotovostnej zdravotnej starostlivosti, pretože prijímajú rozhodnutia v situáciách, ktoré sú veľmi kritické z hľadiska života a zdravia osôb a ich majetku.

Další oblastí, ve které si používání systémů AI zaslouží zvláštní pozornost, je přístup k určitým základním soukromým a veřejným službám a výhodám nezbytným pro plné zapojení osob do společnosti nebo pro zlepšení jejich životní úrovně. Zejména fyzické osoby, které žádají o základní dávky sociálního zabezpečení a veřejné asistenční služby u veřejných orgánů, případně kterým jsou tyto dávky a služby poskytovány, konkrétně služby zdravotní péče, dávky sociálního zabezpečení, sociální služby zajišťující ochranu v takových případech, jako je mateřství, nemoc, pracovní úrazy, závislost nebo stáří, jakož i v případě ztráty zaměstnání a sociální pomoci a pomoci v oblasti bydlení, jsou zpravidla na těchto dávkách a službách závislé a nacházejí se ve vztahu k odpovědným orgánům ve zranitelném postavení. Jsou-li systémy AI používány k určování toho, zda by tyto orgány měly tyto dávky a služby poskytnout, zamítnout, omezit, zrušit nebo žádat jejich navrácení, včetně toho, zda mají příjemci na tyto dávky nebo služby legitimní nárok, mohou tyto systémy mít významný dopad na živobytí daných osob a mohou porušovat jejich základní práva, jako je právo na sociální ochranu, na zákaz diskriminace, na lidskou důstojnost nebo na účinnou právní ochranu, a měly by proto být klasifikovány jako vysoce rizikové. Toto nařízení by však nemělo bránit rozvoji a používání inovativních přístupů ve veřejné správě, pro kterou by mohlo být širší používání vyhovujících a bezpečných systémů AI prospěšné, pokud tyto systémy nepředstavují vysoké riziko pro právnické a fyzické osoby. Kromě toho by jako vysoce rizikové systémy AI by měly být klasifikovány systémy AI používané k hodnocení rizika úvěrů nebo úvěruschopnosti fyzických osob, protože určují přístup těchto osob k finančním zdrojům nebo k základním službám, jako je bydlení, elektřina a telekomunikační služby. Systémy AI používané pro tyto účely mohou vést k diskriminaci mezi osobami nebo skupinami a mohou fixovat historické vzorce diskriminace, například na základě rasového nebo etnického původu, genderu, zdravotního postižení, věku a sexuální orientace, nebo mohou vytvářet nové formy diskriminačních dopadů. Systémy AI stanovené právem Unie pro účely odhalování podvodů při nabízení finančních služeb a pro účely obezřetnosti za účelem výpočtu kapitálových požadavků úvěrových institucí a pojišťoven, by však neměly být podle tohoto nařízení považovány za vysoce rizikové. Kromě toho systémy AI určené k použití pro posuzování rizik a stanovování cen ve vztahu k fyzickým osobám pro účely zdravotního a životního pojištění mohou mít rovněž významný dopad na živobytí osob, a pokud nejsou řádně navrženy, vyvinuty a používány, mohou porušovat jejich základní práva a mohou mít závažné důsledky pro život a zdraví lidí, včetně finančního vyloučení a diskriminace. A konečně by měly být jako vysoce rizikové klasifikovány rovněž systémy AI používané pro hodnocení a klasifikaci tísňových volání fyzických osob nebo při dispečinku pohotovostních služeb nebo stanovení priorit při tomto dispečinku, včetně policie, hasičů a lékařské pomoci, jakož i systémy třídění pacientů ve zdravotnictví, protože rozhodují v situacích, které jsou velmi kritické pro život a zdraví osob a jejich majetek.