Bod odůvodnění 58

Další oblastí, ve které si používání systémů AI zaslouží zvláštní pozornost, je přístup k určitým základním soukromým a veřejným službám a výhodám nezbytným pro plné zapojení osob do společnosti nebo pro zlepšení jejich životní úrovně. Zejména fyzické osoby, které žádají o základní dávky sociálního zabezpečení a veřejné asistenční služby u veřejných orgánů, případně kterým jsou tyto dávky a služby poskytovány, konkrétně služby zdravotní péče, dávky sociálního zabezpečení, sociální služby zajišťující ochranu v takových případech, jako je mateřství, nemoc, pracovní úrazy, závislost nebo stáří, jakož i v případě ztráty zaměstnání a sociální pomoci a pomoci v oblasti bydlení, jsou zpravidla na těchto dávkách a službách závislé a nacházejí se ve vztahu k odpovědným orgánům ve zranitelném postavení. Jsou-li systémy AI používány k určování toho, zda by tyto orgány měly tyto dávky a služby poskytnout, zamítnout, omezit, zrušit nebo žádat jejich navrácení, včetně toho, zda mají příjemci na tyto dávky nebo služby legitimní nárok, mohou tyto systémy mít významný dopad na živobytí daných osob a mohou porušovat jejich základní práva, jako je právo na sociální ochranu, na zákaz diskriminace, na lidskou důstojnost nebo na účinnou právní ochranu, a měly by proto být klasifikovány jako vysoce rizikové. Toto nařízení by však nemělo bránit rozvoji a používání inovativních přístupů ve veřejné správě, pro kterou by mohlo být širší používání vyhovujících a bezpečných systémů AI prospěšné, pokud tyto systémy nepředstavují vysoké riziko pro právnické a fyzické osoby. Kromě toho by jako vysoce rizikové systémy AI by měly být klasifikovány systémy AI používané k hodnocení rizika úvěrů nebo úvěruschopnosti fyzických osob, protože určují přístup těchto osob k finančním zdrojům nebo k základním službám, jako je bydlení, elektřina a telekomunikační služby. Systémy AI používané pro tyto účely mohou vést k diskriminaci mezi osobami nebo skupinami a mohou fixovat historické vzorce diskriminace, například na základě rasového nebo etnického původu, genderu, zdravotního postižení, věku a sexuální orientace, nebo mohou vytvářet nové formy diskriminačních dopadů. Systémy AI stanovené právem Unie pro účely odhalování podvodů při nabízení finančních služeb a pro účely obezřetnosti za účelem výpočtu kapitálových požadavků úvěrových institucí a pojišťoven, by však neměly být podle tohoto nařízení považovány za vysoce rizikové. Kromě toho systémy AI určené k použití pro posuzování rizik a stanovování cen ve vztahu k fyzickým osobám pro účely zdravotního a životního pojištění mohou mít rovněž významný dopad na živobytí osob, a pokud nejsou řádně navrženy, vyvinuty a používány, mohou porušovat jejich základní práva a mohou mít závažné důsledky pro život a zdraví lidí, včetně finančního vyloučení a diskriminace. A konečně by měly být jako vysoce rizikové klasifikovány rovněž systémy AI používané pro hodnocení a klasifikaci tísňových volání fyzických osob nebo při dispečinku pohotovostních služeb nebo stanovení priorit při tomto dispečinku, včetně policie, hasičů a lékařské pomoci, jakož i systémy třídění pacientů ve zdravotnictví, protože rozhodují v situacích, které jsou velmi kritické pro život a zdraví osob a jejich majetek.

El acceso a determinados servicios y prestaciones esenciales, de carácter público y privado, necesarios para que las personas puedan participar plenamente en la sociedad o mejorar su nivel de vida, y el disfrute de dichos servicios y prestaciones, es otro ámbito en el que conviene prestar especial atención a la utilización de sistemas de IA. En particular, las personas físicas que solicitan a las autoridades públicas o reciben de estas prestaciones y servicios esenciales de asistencia pública, a saber, servicios de asistencia sanitaria, prestaciones de seguridad social, servicios sociales que garantizan una protección en casos como la maternidad, la enfermedad, los accidentes laborales, la dependencia o la vejez y la pérdida de empleo, asistencia social y ayudas a la vivienda, suelen depender de dichas prestaciones y servicios y, por lo general, se encuentran en una posición de vulnerabilidad respecto de las autoridades responsables. La utilización de sistemas de IA para decidir si las autoridades deben conceder, denegar, reducir o revocar dichas prestaciones y servicios o reclamar su devolución, lo que incluye decidir, por ejemplo, si los beneficiarios tienen legítimamente derecho a dichas prestaciones y servicios, podría tener un efecto considerable en los medios de subsistencia de las personas y vulnerar sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a la tutela judicial efectiva y, por lo tanto, deben clasificarse como de alto riesgo. No obstante, el presente Reglamento no debe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración, que podrían beneficiarse de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no supongan un alto riesgo para las personas jurídicas y físicas. Además, deben clasificarse como de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de las personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones. Los sistemas de IA usados con esos fines pueden discriminar a determinadas personas o colectivos y perpetuar patrones históricos de discriminación, como por motivos de origen racial o étnico, género, discapacidad, edad u orientación sexual, o generar nuevas formas de discriminación. No obstante, los sistemas de IA previstos por el Derecho de la Unión con vistas a detectar fraudes en la oferta de servicios financieros y, a efectos prudenciales, para calcular los requisitos de capital de las entidades de crédito y las empresas de seguros no deben considerarse de alto riesgo en virtud del presente Reglamento. Además, los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud también pueden afectar de un modo considerable a los medios de subsistencia de las personas y, si no se diseñan, desarrollan y utilizan debidamente, pueden vulnerar sus derechos fundamentales y pueden tener graves consecuencias para la vida y la salud de las personas, como la exclusión financiera y la discriminación. Por último, los sistemas de IA empleados para evaluar y clasificar llamadas de emergencia de personas físicas o el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia, incluidos policía, bomberos y servicios de asistencia médica, así como sistemas de triaje de pacientes para la asistencia sanitaria de emergencia, también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.