Recital 58

Another area in which the use of AI systems deserves special consideration is the access to and enjoyment of certain essential private and public services and benefits necessary for people to fully participate in society or to improve one’s standard of living. In particular, natural persons applying for or receiving essential public assistance benefits and services from public authorities namely healthcare services, social security benefits, social services providing protection in cases such as maternity, illness, industrial accidents, dependency or old age and loss of employment and social and housing assistance, are typically dependent on those benefits and services and in a vulnerable position in relation to the responsible authorities. If AI systems are used for determining whether such benefits and services should be granted, denied, reduced, revoked or reclaimed by authorities, including whether beneficiaries are legitimately entitled to such benefits or services, those systems may have a significant impact on persons’ livelihood and may infringe their fundamental rights, such as the right to social protection, non-discrimination, human dignity or an effective remedy and should therefore be classified as high-risk. Nonetheless, this Regulation should not hamper the development and use of innovative approaches in the public administration, which would stand to benefit from a wider use of compliant and safe AI systems, provided that those systems do not entail a high risk to legal and natural persons. In addition, AI systems used to evaluate the credit score or creditworthiness of natural persons should be classified as high-risk AI systems, since they determine those persons’ access to financial resources or essential services such as housing, electricity, and telecommunication services. AI systems used for those purposes may lead to discrimination between persons or groups and may perpetuate historical patterns of discrimination, such as that based on racial or ethnic origins, gender, disabilities, age or sexual orientation, or may create new forms of discriminatory impacts. However, AI systems provided for by Union law for the purpose of detecting fraud in the offering of financial services and for prudential purposes to calculate credit institutions’ and insurance undertakings’ capital requirements should not be considered to be high-risk under this Regulation. Moreover, AI systems intended to be used for risk assessment and pricing in relation to natural persons for health and life insurance can also have a significant impact on persons’ livelihood and if not duly designed, developed and used, can infringe their fundamental rights and can lead to serious consequences for people’s life and health, including financial exclusion and discrimination. Finally, AI systems used to evaluate and classify emergency calls by natural persons or to dispatch or establish priority in the dispatching of emergency first response services, including by police, firefighters and medical aid, as well as of emergency healthcare patient triage systems, should also be classified as high-risk since they make decisions in very critical situations for the life and health of persons and their property.

Další oblastí, ve které si používání systémů AI zaslouží zvláštní pozornost, je přístup k určitým základním soukromým a veřejným službám a výhodám nezbytným pro plné zapojení osob do společnosti nebo pro zlepšení jejich životní úrovně. Zejména fyzické osoby, které žádají o základní dávky sociálního zabezpečení a veřejné asistenční služby u veřejných orgánů, případně kterým jsou tyto dávky a služby poskytovány, konkrétně služby zdravotní péče, dávky sociálního zabezpečení, sociální služby zajišťující ochranu v takových případech, jako je mateřství, nemoc, pracovní úrazy, závislost nebo stáří, jakož i v případě ztráty zaměstnání a sociální pomoci a pomoci v oblasti bydlení, jsou zpravidla na těchto dávkách a službách závislé a nacházejí se ve vztahu k odpovědným orgánům ve zranitelném postavení. Jsou-li systémy AI používány k určování toho, zda by tyto orgány měly tyto dávky a služby poskytnout, zamítnout, omezit, zrušit nebo žádat jejich navrácení, včetně toho, zda mají příjemci na tyto dávky nebo služby legitimní nárok, mohou tyto systémy mít významný dopad na živobytí daných osob a mohou porušovat jejich základní práva, jako je právo na sociální ochranu, na zákaz diskriminace, na lidskou důstojnost nebo na účinnou právní ochranu, a měly by proto být klasifikovány jako vysoce rizikové. Toto nařízení by však nemělo bránit rozvoji a používání inovativních přístupů ve veřejné správě, pro kterou by mohlo být širší používání vyhovujících a bezpečných systémů AI prospěšné, pokud tyto systémy nepředstavují vysoké riziko pro právnické a fyzické osoby. Kromě toho by jako vysoce rizikové systémy AI by měly být klasifikovány systémy AI používané k hodnocení rizika úvěrů nebo úvěruschopnosti fyzických osob, protože určují přístup těchto osob k finančním zdrojům nebo k základním službám, jako je bydlení, elektřina a telekomunikační služby. Systémy AI používané pro tyto účely mohou vést k diskriminaci mezi osobami nebo skupinami a mohou fixovat historické vzorce diskriminace, například na základě rasového nebo etnického původu, genderu, zdravotního postižení, věku a sexuální orientace, nebo mohou vytvářet nové formy diskriminačních dopadů. Systémy AI stanovené právem Unie pro účely odhalování podvodů při nabízení finančních služeb a pro účely obezřetnosti za účelem výpočtu kapitálových požadavků úvěrových institucí a pojišťoven, by však neměly být podle tohoto nařízení považovány za vysoce rizikové. Kromě toho systémy AI určené k použití pro posuzování rizik a stanovování cen ve vztahu k fyzickým osobám pro účely zdravotního a životního pojištění mohou mít rovněž významný dopad na živobytí osob, a pokud nejsou řádně navrženy, vyvinuty a používány, mohou porušovat jejich základní práva a mohou mít závažné důsledky pro život a zdraví lidí, včetně finančního vyloučení a diskriminace. A konečně by měly být jako vysoce rizikové klasifikovány rovněž systémy AI používané pro hodnocení a klasifikaci tísňových volání fyzických osob nebo při dispečinku pohotovostních služeb nebo stanovení priorit při tomto dispečinku, včetně policie, hasičů a lékařské pomoci, jakož i systémy třídění pacientů ve zdravotnictví, protože rozhodují v situacích, které jsou velmi kritické pro život a zdraví osob a jejich majetek.