Zakázané postupy v oblasti AI
Čeština
1. Zakazují se následující postupy v oblasti AI:
a) |
uvádění na trh, uvádění do provozu nebo používání systémů AI, které využívají podprahových technik mimo vědomí osob nebo záměrně manipulativních či klamavých technik, jejichž cílem nebo důsledkem je podstatné narušení chování osoby nebo skupiny osob tím, že znatelně zhoršují jejich schopnost učinit informované rozhodnutí, což vede k tomu, že přijmou rozhodnutí, které by jinak neučinily, což dotčené osobě, jiné osobě nebo skupině osob způsobuje nebo by s přiměřenou pravděpodobností mohlo způsobit významnou újmu; |
b) |
uvádění na trh, uvádění do provozu nebo používání systémů AI, které využívají zranitelnosti fyzické osoby nebo určité skupiny osob v důsledku jejich věku, zdravotního postižení nebo specifické sociální nebo ekonomické situace a jejichž cílem nebo důsledkem je podstatné narušení chování této osoby nebo osoby náležející k této skupině tak, že to dotčené osobě nebo jiné osobě způsobuje nebo by s přiměřenou pravděpodobností mohlo způsobit významnou újmu; |
ba) |
uvádění na trh, uvádění do provozu nebo používání systémů AI, které vytvářejí realistický obrazový, filmový, zvukový či podobný materiál zobrazující intimní partie identifikovatelné fyzické osoby nebo identifikovatelnou fyzickou osobu účastnící se explicitně zobrazených sexuálních aktivit nebo které s takovým materiálem manipulují, aniž by dotčená osoba poskytla s vytvářením tohoto materiálu či s manipulací s ním svobodný, konkrétní, informovaný, jednoznačný a výslovný souhlas; |
bb) |
uvádění na trh, uvádění do provozu nebo používání systémů AI, které vytvářejí materiál či představení ve smyslu čl. 2 písm. c) a e) směrnice 2011/93/EU nebo s nimi manipulují, s výjimkou případů, kdy se podle vnitrostátního práva uplatňuje okolnost vylučující protiprávnost; |
c) |
uvádění na trh, uvádění do provozu nebo používání systémů AI pro hodnocení nebo klasifikace fyzických osob nebo skupin osob v určitém časovém úseku na základě jejich sociálního chování nebo známých, odvozených nebo předvídaných osobních či osobnostních vlastností, přičemž výsledný sociální kredit vede k jednomu nebo oběma následujícím důsledkům:
| ||||||
d) |
uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI pro posuzování rizik fyzických osob s cílem posoudit nebo předvídat riziko, že fyzická osoba spáchá trestný čin, a to výhradně na základě profilování fyzické osoby nebo posouzení jejích osobnostních znaků a vlastností; tento zákaz se nevztahuje na systémy AI používané na podporu lidského posouzení zaměřeného na zapojení osoby do trestné činnosti, které je již založeno na objektivních a ověřitelných skutečnostech přímo souvisejících s trestnou činností; | ||||||
e) |
uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI, které vytvářejí nebo rozšiřují databáze rozpoznávání obličeje prostřednictvím necíleného získávání zobrazení obličeje z internetu nebo kamerových záznamů; | ||||||
f) |
uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů AI s cílem odvodit emoce fyzické osoby na pracovišti a ve vzdělávacích institucích, s výjimkou případů, kdy je použití systému AI určeno k zavedení či k uvedení na trh z lékařských nebo bezpečnostních důvodů; | ||||||
g) |
uvádění na trh, uvádění do provozu pro tento konkrétní účel nebo používání systémů biometrické kategorizace, které jednotlivě kategorizují fyzické osoby na základě jejich biometrických údajů za účelem dovození nebo odvození jejich rasy, politických názorů, členství v odborových organizacích, náboženského nebo filozofického přesvědčení, sexuálního života nebo sexuální orientace; tento zákaz se nevztahuje na označování nebo filtrování legálně získaných souborů biometrických údajů, jako jsou snímky, na základě biometrických údajů nebo kategorizace biometrických údajů v oblasti vymáhání práva; | ||||||
h) |
používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva, pokud to není nezbytně nutné pro jeden z následujících cílů, a jen v nezbytně nutné míře:
|
Prvním pododstavcem písm. h) není dotčen článek 9 nařízení (EU) 2016/679, pokud jde o zpracování biometrických údajů pro jiné účely, než je vymáhání práva.
1a. Pro účely odst. 1 prvního pododstavce písm. ba) a bb):
a) |
uvádění na trh nebo uvádění do provozu systémů AI, které vytvářejí materiál či představení uvedené v odst. 1 prvním pododstavci písm. ba) nebo bb) nebo s nimi manipulují, je zakázáno pouze tehdy, pokud:
| ||||
b) |
používání systémů AI, které vytvářejí materiál nebo představení uvedené v odst. 1 prvním pododstavci písm. ba) a bb) nebo s nimi manipulují, je zakázáno pouze tehdy, pokud zavádějící subjekt používá tento systém za účelem vytváření tohoto materiálu nebo představení či manipulace s nimi. |
1b. Pro účely odst. 1 prvního pododstavce písm. ba) se za manipulaci nepovažuje situace, kdy systém AI manipuluje s materiálem způsobem, který nezvyšuje expozici jakýchkoli vyobrazených intimních partií ani nemění povahu explicitně zobrazovaných sexuálních aktivit.
2. Používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva pro některý z cílů uvedených v odst. 1 prvním pododstavci písm. h) se zavede pro účely stanovené v daném ustanovení pouze k potvrzení totožnosti konkrétně cílené fyzické osoby a zohlední tyto prvky:
a) |
povahu situace, která vede k jejich potenciálnímu použití, zejména závažnost, pravděpodobnost a rozsah újmy, která by byla způsobena v případě, že by systém použit nebyl; |
b) |
důsledky používání systému pro práva a svobody všech dotčených osob, zejména závažnost, pravděpodobnost a rozsah těchto důsledků. |
Použití systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva pro dosažení kteréhokoli z cílů uvedených v odst. 1 prvním pododstavci písm. h) tohoto článku musí být navíc v souladu s nezbytnými a přiměřenými zárukami a podmínkami ve vztahu k použití podle vnitrostátního práva, jež použití takových systémů povoluje, zejména pokud jde o časová, zeměpisná a osobní omezení. Používání systému biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech je povoleno pouze v případě, že donucovací orgán dokončil posouzení dopadů na základní práva podle článku 27 a zaregistroval systém v databázi EU podle článku 49. V řádně odůvodněných naléhavých případech však může být používání těchto systémů zahájeno bez registrace v databázi EU, pokud je tato registrace provedena bez zbytečného odkladu.
3. Pro účely odst. 1 prvního pododstavce písm. h) a odstavce 2 každé použití systému biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva podléhá předchozímu povolení ze strany justičního orgánu nebo nezávislého správního orgánu, jehož rozhodnutí je závazné a jenž se nachází v členském státě, ve kterém má k tomuto použití dojít, přičemž toto povolení je vydáno na základě odůvodněné žádosti a v souladu s podrobnými pravidly vnitrostátního práva uvedenými v odstavci 5. V řádně odůvodněné naléhavé situaci však může být používání systému zahájeno bez povolení za předpokladu, že se o takové povolení požádá bez zbytečného odkladu, nejpozději do 24 hodin. Je-li takové povolení zamítnuto, použití se s okamžitým účinkem zastaví a veškeré údaje, jakož i výsledky a výstupy tohoto použití se okamžitě vyřadí a vymažou.
Příslušný justiční orgán nebo nezávislý správní orgán, jehož rozhodnutí je závazné, udělí povolení pouze v případě, že je na základě objektivních důkazů nebo jednoznačných údajů, které mu byly předloženy, přesvědčen, že použití dotčeného systému biometrické identifikace na dálku v reálném čase je nezbytné a přiměřené k dosažení jednoho z cílů specifikovaných v odst. 1 prvním pododstavci písm. h), který je uveden v žádosti, a zejména je omezeno na to, co je nezbytně nutné, pokud jde o dobu, jakož i zeměpisný a osobní rozsah. Při rozhodování o žádosti zohlední tento orgán skutečnosti uvedené v odstavci 2. Výlučně na základě výstupu systému biometrické identifikace na dálku v reálném čase nelze přijmout žádné rozhodnutí, které má pro určitou osobu nepříznivé právní účinky.
4. Aniž je dotčen odstavec 3, každé použití systému biometrické identifikace na dálku v reálném čase na veřejně přístupných prostorech se pro účely vymáhání práva oznámí příslušnému orgánu dozoru nad trhem a vnitrostátnímu orgánu pro ochranu osobních údajů v souladu s vnitrostátními pravidly uvedenými v odstavci 5. Oznámení obsahuje přinejmenším informace uvedené v odstavci 6 a nezahrnuje citlivé operativní údaje.
5. Členský stát se může rozhodnout, že umožní plně nebo částečně povolit používání systémů biometrické identifikace na dálku v reálném čase na veřejně přístupných prostorech pro účely vymáhání práva v mezích a za podmínek uvedených v odst. 1 prvním pododstavci písm. h) a v odstavcích 2 a 3. Dotčené členské státy ve svém vnitrostátním právu stanoví nezbytná podrobná pravidla upravující žádosti o povolení uvedená v odstavci 3, vydávání a výkon těchto povolení, jakož i dohled nad nimi a podávání zpráv o nich. Tato pravidla rovněž stanoví, ve vztahu ke kterému cíli uvedenému v odst. 1 prvním pododstavci písm. h) a ke kterému trestnému činu uvedenému v písm. h) bodu iii) tohoto odstavce lze příslušným orgánům používání těchto systémů pro účely vymáhání práva povolit. Členské státy tato pravidla nejpozději 30 dnů po jejich přijetí oznámí Komisi. Členské státy mohou v souladu s právem Unie zavést přísnější právní předpisy týkající se používání systémů biometrické identifikace na dálku.
6. Vnitrostátní orgány dozoru nad trhem a vnitrostátní orgány pro ochranu osobních údajů členských států, které byly informovány o používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech pro účely vymáhání práva podle odstavce 4, předkládají Komisi ohledně tohoto používání výroční zprávy. Za tímto účelem poskytne Komise členským státům a vnitrostátním orgánům dozoru nad trhem a orgánům pro ochranu osobních údajů vzor, včetně informací o počtu rozhodnutí přijatých příslušnými justičními orgány nebo nezávislým správním orgánem, jejichž rozhodnutí je v případě žádostí o povolení v souladu s odstavcem 3 závazné, a o jejich výsledku.
7. Pro účely vymáhání práva Komise zveřejňuje výroční zprávy o používání systémů biometrické identifikace na dálku v reálném čase ve veřejně přístupných prostorech, a to na základě souhrnných údajů o členských státech vycházejících z výročních zpráv podle odstavce 6. Tyto výroční zprávy neobsahují citlivé operativní údaje o souvisejících činnostech v oblasti vymáhání práva.
8. Tímto článkem nejsou dotčeny zákazy, které se použijí v případě, že postupy AI porušují jiné právo Unie.
Slovenčina
1. Zakazujú sa tieto praktiky využívajúce AI:
a) |
uvádzanie na trh, uvádzanie do prevádzky alebo používanie systému AI, ktorý využíva podprahové techniky mimo vedomia osoby alebo účelovo manipulatívne alebo klamlivé techniky s cieľom alebo účinkom podstatne narušiť správanie osoby alebo skupiny osôb tým, že sa citeľne oslabí ich schopnosť prijať informované rozhodnutie, čo zapríčiní, že prijmú rozhodnutie, ktoré by inak neprijali, a to spôsobom, ktorý tejto osobe, inej osobe alebo skupine osôb spôsobuje alebo pri ktorom je odôvodnené predpokladať, že pravdepodobne spôsobí značnú ujmu; |
b) |
uvádzanie na trh, uvádzanie do prevádzky alebo používanie systému AI, ktorý využíva ktorúkoľvek zo zraniteľností fyzickej osoby alebo osobitnej skupiny osôb z dôvodu ich veku, zdravotného postihnutia alebo osobitnej sociálnej alebo ekonomickej situácie s cieľom alebo účinkom podstatne narušiť správanie tejto osoby alebo osoby patriacej do tejto skupiny spôsobom, ktorý tejto alebo inej osobe spôsobuje alebo pri ktorom je odôvodnené predpokladať, že pravdepodobne spôsobí značnú ujmu; |
ba) |
uvádzanie na trh, uvádzanie do prevádzky alebo používanie systému AI, ktorý generuje realistické obrázky, videá, zvukové záznamy alebo podobný materiál zobrazujúci intímne časti tela identifikovateľnej fyzickej osoby alebo jej zapojenie do sexuálne explicitného konania alebo ktorý s takýmto materiálom manipuluje, a to bez slobodného, konkrétneho, informovaného, jednoznačného a výslovného súhlasu tejto osoby s uvedeným generovaním alebo manipuláciou; |
bb) |
uvádzanie na trh, uvádzanie do prevádzky alebo používanie systému AI, ktorý generuje materiál alebo predstavenie v zmysle článku 2 písm. c) a e) smernice 2011/93/EÚ, alebo s nimi manipuluje, s výnimkou prípadov, keď sa podľa vnútroštátneho práva uplatňuje obhajoba „bez oprávnenia“; |
c) |
uvádzanie na trh, uvádzanie do prevádzky alebo používanie systémov AI na hodnotenie alebo klasifikáciu fyzických osôb alebo skupín osôb počas určitého obdobia na základe ich spoločenského správania alebo známych, odvodených či predpokladaných osobných alebo osobnostných charakteristík, pričom takto získané sociálne skóre vedie k jednému alebo obidvom z týchto výsledkov:
| ||||||
d) |
uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systému AI na posudzovanie rizík fyzických osôb s cieľom posúdiť alebo predvídať riziko toho, že fyzická osoba spácha trestný čin, a to výlučne na základe profilovania fyzickej osoby alebo posúdenia jej osobnostných vlastností a charakteristík; tento zákaz sa nevzťahuje na systémy AI používané na podporu ľudského posúdenia zapojenia osoby do trestnej činnosti, ktoré je už založené na objektívnych a overiteľných skutočnostiach priamo spojených s trestnou činnosťou; | ||||||
e) |
uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov AI, ktoré vytvárajú alebo rozširujú databázy na rozpoznávanie tváre prostredníctvom necielenej extrakcie podôb tváre z internetu alebo zo záznamov CCTV; | ||||||
f) |
uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov AI na odvodzovanie emócií fyzickej osoby v oblasti pracoviska a vzdelávacích inštitúcií s výnimkou prípadov, keď je používanie systému AI určené na uvedenie do prevádzky alebo na trh zo zdravotných alebo bezpečnostných dôvodov; | ||||||
g) |
uvádzanie na trh, uvádzanie do prevádzky na tento konkrétny účel alebo používanie systémov biometrickej kategorizácie, ktoré jednotlivo kategorizujú fyzické osoby na základe ich biometrických údajov s cieľom odvodiť alebo vyvodiť ich rasu, politické názory, členstvo v odboroch, náboženské alebo filozofické presvedčenie, sexuálny život alebo sexuálnu orientáciu; tento zákaz sa nevzťahuje na žiadne označovanie ani filtrovanie zákonne získaných súborov biometrických údajov, ako sú obrázky, na základe biometrických údajov alebo kategorizácie biometrických údajov v oblasti presadzovania práva; | ||||||
h) |
používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva, pokiaľ takéto použitie nie je nevyhnutne potrebné na jeden z týchto cieľov:
|
Prvým pododsekom písm. h) nie je dotknutý článok 9 nariadenia (EÚ) 2016/679 na účely spracúvania biometrických údajov na iné účely ako je presadzovania práva.
1a. Na účely odseku 1 prvého pododseku písm. ba) a bb):
a) |
uvedenie na trh alebo do prevádzky systému AI, ktorý generuje materiál alebo predstavenie uvedené v odseku 1 prvom pododseku písm. ba) alebo bb) alebo s nimi manipuluje, je zakázané len vtedy, ak:
| ||||
b) |
používanie systému AI, ktorý generuje materiál alebo predstavenie uvedené v odseku 1 prvom pododseku písm. ba) a bb) alebo s nimi manipuluje, je zakázané len vtedy, ak nasadzujúci subjekt používa systém na účely generovania takéhoto materiálu alebo predstavenia alebo manipulácie s ním. |
1b. Na účely odseku 1 prvého pododseku písm. ba) systém AI, ktorý manipuluje materiál spôsobom, ktorý nezvyšuje odhalenie akýchkoľvek zobrazených intímnych častí ani nemení povahu akýchkoľvek zobrazených sexuálne explicitných činností, nepredstavuje manipuláciu.
2. Systémy diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch sa na účely presadzovania práva na dosiahnutie ktoréhokoľvek z cieľov uvedených v odseku 1 prvom pododseku písm. h) nasadzujú na účely stanovené v uvedenom písmene, len aby sa potvrdila totožnosť špecificky zacieleného jednotlivca, pričom sa zohľadnia tieto skutočnosti:
a) |
povaha situácie, ktorá viedla k možnému použitiu, najmä závažnosť, pravdepodobnosť a rozsah ujmy, ktorá by bola spôsobená v prípade nepoužitia systému; |
b) |
dôsledky použitia systému pre práva a slobody všetkých dotknutých osôb, najmä závažnosť, pravdepodobnosť a rozsah týchto dôsledkov. |
Používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva na dosiahnutie ktoréhokoľvek z cieľov uvedených v odseku 1 prvom pododseku písm. h) tohto článku musí okrem toho byť v súlade s nevyhnutnými a primeranými zárukami a podmienkami týkajúcimi sa tohto používania, a to podľa vnútroštátnych právnych predpisov oprávňujúcich ich použitie, najmä pokiaľ ide o časové, geografické a osobné obmedzenia. Používanie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch sa povolí len vtedy, ak orgán presadzovania práva dokončil posúdenie vplyvu na základné práva, ako sa stanovuje v článku 27, a zaregistroval systém v databáze Únie podľa článku 49. V riadne odôvodnených naliehavých prípadoch sa však používanie takýchto systémov môže začať bez registrácie v databáze Únie za predpokladu, že sa takáto registrácia dokončí bez zbytočného odkladu.
3. Na účely odseku 1 prvého pododseku písm. h) a odseku 2 podlieha každé použitie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva predchádzajúcemu povoleniu, ktoré udeľuje justičný orgán alebo nezávislý správny orgán, ktorého rozhodnutie je záväzné, členského štátu, v ktorom sa má použitie uskutočniť, vydanému na základe odôvodnenej žiadosti a v súlade s podrobnými pravidlami vnútroštátneho práva uvedenými v odseku 5. V riadne odôvodnenej naliehavej situácii sa však použitie takéhoto systému môže začať bez povolenia za predpokladu, že sa o takéto povolenie požiada bez zbytočného odkladu, najneskôr však do 24 hodín. Ak sa takéto povolenie zamietne, používanie sa s okamžitou účinnosťou zastaví a všetky údaje, ako aj výsledky a výstupy tohto používania sa okamžite vyradia a vymažú.
Príslušný justičný orgán alebo nezávislý správny orgán, ktorého rozhodnutie je záväzné, udelí povolenie len vtedy, ak sa na základe objektívnych dôkazov alebo jasných indícií, ktoré mu boli predložené, presvedčí, že použitie predmetného systému diaľkovej biometrickej identifikácie v reálnom čase je potrebné a primerané na dosiahnutie niektorého z cieľov uvedených v odseku 1 prvom pododseku písm. h), ako sa uvádza v žiadosti, a najmä je naďalej obmedzené na to, čo je striktne nevyhnutné, pokiaľ ide o časový a geografický rozsah a rozsah týkajúci sa osobných aspektov. Pri rozhodovaní o žiadosti tento orgán zohľadní skutočnosti uvedené v odseku 2. Žiadne rozhodnutie, ktoré má pre osobu nepriaznivé právne účinky, sa nesmie prijať výlučne na základe výstupu systému diaľkovej biometrickej identifikácie v reálnom čase.
4. Bez toho, aby bol dotknutý odsek 3, každé použitie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva sa oznámi príslušnému orgánu dohľadu nad trhom a vnútroštátnemu orgánu pre ochranu údajov v súlade s vnútroštátnymi pravidlami uvedenými v odseku 5. Oznámenie obsahuje aspoň informácie uvedené v odseku 6 a neobsahuje citlivé operačné údaje.
5. Členský štát sa môže rozhodnúť, že na účely presadzovania práva v rámci obmedzení a za podmienok uvedených v odseku 1 prvom pododseku písm. h) a odsekoch 2 a 3 stanoví možnosť úplne alebo čiastočne povoliť používanie systému diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch. Dotknuté členské štáty vo svojom vnútroštátnom práve stanovia potrebné podrobné pravidlá na podávanie žiadostí o povolenia uvedené v odseku 3, ich vydávanie a výkon, ako aj pre dohľad nad nimi a podávanie správ o nich. V týchto pravidlách sa takisto uvedie, v súvislosti s ktorým z cieľov uvedených v odseku 1 prvom pododseku písm. h) a s ktorým z trestných činov uvedených v bode iii) uvedeného písmena h) môžu byť príslušné orgány oprávnené používať tieto systémy na účely presadzovania práva. Členské štáty oznámia tieto pravidlá Komisii najneskôr 30 dní po ich prijatí. Členské štáty môžu v súlade s právom Únie zaviesť prísnejšie právne predpisy o používaní systémov diaľkovej biometrickej identifikácie.
6. Vnútroštátne orgány dohľadu nad trhom a vnútroštátne orgány pre ochranu údajov členských štátov, ktorým bolo oznámené používanie systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva podľa odseku 4, predkladajú Komisii výročné správy o takomto používaní. Na tento účel Komisia poskytne členským štátom a vnútroštátnym orgánom dohľadu nad trhom a orgánom pre ochranu údajov vzor vrátane informácií o počte rozhodnutí prijatých príslušnými justičnými orgánmi alebo nezávislým správnym orgánom, ktorého rozhodnutie je záväzné v nadväznosti na žiadosti o povolenie v súlade s odsekom 3, a o ich výsledku.
7. Komisia uverejňuje výročné správy o používaní systémov diaľkovej biometrickej identifikácie v reálnom čase vo verejne prístupných priestoroch na účely presadzovania práva, pričom vychádza zo súhrnných údajov z členských štátov na základe výročných správ uvedených v odseku 6. Tieto výročné správy nesmú obsahovať citlivé operačné údaje o súvisiacich činnostiach v oblasti presadzovania práva.
8. Týmto článkom nie sú dotknuté zákazy, ktoré sa uplatňujú, ak určitá praktika využívajúca AI porušuje iné právne predpisy Únie.