Recital 53

It is also important to clarify that there may be specific cases in which AI systems referred to in pre-defined areas specified in this Regulation do not lead to a significant risk of harm to the legal interests protected under those areas because they do not materially influence the decision-making or do not harm those interests substantially. For the purposes of this Regulation, an AI system that does not materially influence the outcome of decision-making should be understood to be an AI system that does not have an impact on the substance, and thereby the outcome, of decision-making, whether human or automated. An AI system that does not materially influence the outcome of decision-making could include situations in which one or more of the following conditions are fulfilled. The first such condition should be that the AI system is intended to perform a narrow procedural task, such as an AI system that transforms unstructured data into structured data, an AI system that classifies incoming documents into categories or an AI system that is used to detect duplicates among a large number of applications. Those tasks are of such narrow and limited nature that they pose only limited risks which are not increased through the use of an AI system in a context that is listed as a high-risk use in an annex to this Regulation. The second condition should be that the task performed by the AI system is intended to improve the result of a previously completed human activity that may be relevant for the purposes of the high-risk uses listed in an annex to this Regulation. Considering those characteristics, the AI system provides only an additional layer to a human activity with consequently lowered risk. That condition would, for example, apply to AI systems that are intended to improve the language used in previously drafted documents, for example in relation to professional tone, academic style of language or by aligning text to a certain brand messaging. The third condition should be that the AI system is intended to detect decision-making patterns or deviations from prior decision-making patterns. The risk would be lowered because the use of the AI system follows a previously completed human assessment which it is not meant to replace or influence, without proper human review. Such AI systems include for instance those that, given a certain grading pattern of a teacher, can be used to check ex post whether the teacher may have deviated from the grading pattern so as to flag potential inconsistencies or anomalies. The fourth condition should be that the AI system is intended to perform a task that is only preparatory to an assessment relevant for the purposes of the AI systems listed in an annex to this Regulation, thus making the possible impact of the output of the system very low in terms of representing a risk for the assessment to follow. That condition covers, inter alia, smart solutions for file handling, which include various functions from indexing, searching, text and speech processing or linking data to other data sources, or AI systems used for translation of initial documents. In any case, AI systems used in high-risk use-cases listed in an annex to this Regulation should be considered to pose significant risks of harm to the health, safety or fundamental rights if the AI system implies profiling within the meaning of Article 4, point (4) of Regulation (EU) 2016/679 or Article 3, point (4) of Directive (EU) 2016/680 or Article 3, point (5) of Regulation (EU) 2018/1725. To ensure traceability and transparency, a provider who considers that an AI system is not high-risk on the basis of the conditions referred to above should draw up documentation of the assessment before that system is placed on the market or put into service and should provide that documentation to national competent authorities upon request. Such a provider should be obliged to register the AI system in the EU database established under this Regulation. With a view to providing further guidance for the practical implementation of the conditions under which the AI systems listed in an annex to this Regulation are, on an exceptional basis, non-high-risk, the Commission should, after consulting the Board, provide guidelines specifying that practical implementation, completed by a comprehensive list of practical examples of use cases of AI systems that are high-risk and use cases that are not.

Je rovněž důležité vyjasnit, že mohou existovat zvláštní případy, kdy systémy AI uvedené v předem vymezených oblastech specifikovaných v tomto nařízení nezakládají významné riziko poškození právních zájmů, které jsou v těchto oblastech chráněny, protože nemají podstatný vliv na rozhodování nebo tyto zájmy podstatně nepoškozují. Pro účely tohoto nařízení by se systémem AI, který nemá podstatný vliv na výsledek rozhodování, měl rozumět systém AI, který nemá vliv na podstatu, a tím ani na výsledek rozhodování, ať už jde o lidské, nebo automatizované rozhodování. Systém AI, který podstatně neovlivňuje výsledek rozhodování, by mohl zahrnovat situace, kdy je splněna jedna nebo více z následujících podmínek. Prvním takovou podmínkou by mělo být, že je daný systém AI určen k plnění úzce vymezeného procedurálního úkolu, jako je systém AI, který přeměňuje nestrukturovaná data na data strukturovaná, systém AI, který třídí příchozí dokumenty do kategorií, nebo systém AI, který se používá k odhalování duplicit mezi velkým počtem žádostí. Tyto úkoly jsou natolik úzké a omezené povahy, že představují pouze omezená rizika, která se použitím systému AI v kontextu uvedeném na seznamu v příloze tohoto nařízení jako vysoce rizikové použití nezvyšují. Druhou podmínkou by mělo být, že úkol prováděný daným systémem AI je určen ke zlepšení výsledku dříve dokončené lidské činnosti, která může být relevantní pro účely vysoce rizikového použití uvedeného v seznamu v příloze tohoto nařízení. Vzhledem k těmto vlastnostem přidává takový systém AI pouze další vrstvu k lidské činnosti, a riziko je tudíž nízké. Tato podmínka by se například vztahovala na systémy AI, které mají zdokonalit formulace použité v dříve vypracovaných dokumentech, například z hlediska odborného vyjadřování, akademického stylu nebo přizpůsobení textu určitému sdělení značky. Třetí podmínkou by mělo být, že je daný systém AI určen k odhalování vzorců rozhodování nebo odchylek od předchozích vzorců rozhodování. Riziko by bylo sníženo, protože použití takového systému AI následuje po dříve dokončeném lidském posouzení, které jím nemá být bez řádného lidského přezkumu nahrazeno ani ovlivněno. Mezi takové systémy AI patří například ty, které mohou být při určitém způsobu známkování ze strany učitele použity k následné kontrole, zda se učitel od tohoto způsobu známkování mohl odchýlit, a upozornit tak na možné nesrovnalosti nebo anomálie. Čtvrtou podmínkou by mělo být, že je daný systém AI určen k plnění úkolu, který je pouze přípravou k posouzení relevantnímu pro účely systémů AI uvedených v příloze tohoto nařízení, a možný dopad výstupu systému z hlediska rizika, jež pro následné posouzení představuje, je tudíž velmi nízký. Tato podmínka se vztahuje mimo jiné na inteligentní řešení pro zpracování souborů, která zahrnují různé funkce jako indexování, vyhledávání, zpracování textu a řeči nebo propojení dat s jinými zdroji údajů, nebo systémy AI používané pro překlad výchozích dokumentů. V každém případě by se mělo mít za to, že tyto systémy AI používané v případech vysoce rizikového použití uvedených v příloze tohoto nařízení představují významné riziko poškození zdraví, bezpečnosti nebo základních práv, pokud systém AI zahrnuje profilování ve smyslu čl. 4 bodu. 4 nařízení (EU) 2016/679, čl. 3 bodu 4 směrnice (EU) 2016/680 nebo čl. 3 bodu 5 nařízení 2018/1725. Aby byla zajištěna sledovatelnost a transparentnost, měl by poskytovatel, který se na základě výše uvedených podmínek domnívá, že určitý systém AI vysoce rizikový není, vypracovat dokumentaci o posouzení před uvedením tohoto systému na trh nebo do provozu a měl by tuto dokumentaci na požádání poskytnout příslušným vnitrostátním orgánům. Tento poskytovatel by měl mít povinnost zaregistrovat systém AI v databázi EU zřízené podle tohoto nařízení. Jako další pokyny pro praktické provádění podmínek, podle nichž systémy AI uvedené v příloze tohoto nařízení vysoce rizikové výjimečně nejsou, by Komise měla po konzultaci s radou poskytnout pokyny upřesňující toto praktické provádění doplněné komplexním seznamem praktických příkladů použití vysoce rizikových systémů AI a příkladů použití systémů AI, jež vysoce rizikové nejsou.