Nařízení (EU) 2024/1689 (AI Act) · Kapitola III · Vysoce rizikové systémy AI
Čl. 9 · Systém řízení rizik
Znění
-
Ve vztahu k vysoce rizikovým systémům AI je zaveden, uplatňován, zdokumentován a udržován systém řízení rizik.
-
Systém řízení rizik je chápán jako nepřetržitý opakující se proces plánovaný a prováděný v rámci celého životního cyklu vysoce rizikového systému AI, který vyžaduje pravidelný systematický přezkum a aktualizaci. Zahrnuje následující kroky:
a) identifikaci a analýzu známých a rozumně předvídatelných rizik, která může vysoce rizikový systém AI používaný v souladu se zamýšleným účelem představovat pro zdraví, bezpečnost nebo základní práva;
b) odhad a vyhodnocení rizik, která mohou vzniknout, když je vysoce rizikový systém AI používán v souladu se zamýšleným účelem a za podmínek rozumně předvídatelného nesprávného použití;
c) hodnocení dalších rizik, která mohou potenciálně vzniknout, na základě analýzy shromážděných údajů ze systému monitorování po uvedení na trh ve smyslu článku 72;
d) přijetí vhodných a cílených opatření k řízení rizik, jež jsou navržena tak, aby řešila rizika zjištěná podle písmene a).
-
Rizika uvedená v tomto článku zahrnují pouze rizika, která lze přiměřeně zmírnit nebo vyloučit vývojem nebo návrhem vysoce rizikového systému AI nebo poskytnutím odpovídajících technických informací.
-
Opatření k řízení rizik uvedená v odst. 2 písm. d) náležitě zohledňují účinky a možnou interakci vyplývající z kombinovaného uplatňování požadavků stanovených v tomto oddíle s cílem účinněji minimalizovat rizika a současně dosáhnout vhodné rovnováhy při provádění opatření ke splnění těchto požadavků.
-
Opatření k řízení rizik uvedená v odst. 2 písm. d) musí být taková, aby bylo příslušné zbytkové riziko spojené s každým nebezpečím a rovněž celkové zbytkové riziko vysoce rizikových systémů AI považováno za přijatelné.
Při určování nejvhodnějších opatření k řízení rizik je třeba zajistit:
a) vyloučení nebo snížení rizik zjištěných a vyhodnocených podle odstavce 2, pokud možno prostřednictvím technicky proveditelného návrhu a vývoje vysoce rizikového systému AI;
b) ve vhodných případech zavedení odpovídajících zmírňujících a kontrolních opatření, jež řeší rizika, která nelze vyloučit;
c) poskytování informací požadovaných podle článku 13 a v případě potřeby školení pro zavádějící subjekty.
Za účelem vyloučení nebo snížení rizik souvisejících s používáním daného vysoce rizikového systému AI by měly být náležitě zváženy technické znalosti, zkušenosti, vzdělání, odborná příprava, které se od zavádějícího subjektu očekává, a předpokládaný kontext, ve kterém má být systém používán.
-
Vysoce rizikové systémy AI jsou testovány za účelem identifikace nejvhodnějších a cílených opatření k řízení rizik. Testování zajistí, aby vysoce rizikové systémy AI podávaly výkony konzistentní s jejich zamýšleným účelem a aby byly v souladu s požadavky stanovenými v tomto oddíle.
-
Testovací postupy mohou zahrnovat testování v reálných podmínkách v souladu s článkem 60.
-
Testování vysoce rizikových systémů AI se provádí podle potřeby kdykoli v průběhu celého procesu vývoje a v každém případě před uvedením na trh nebo do provozu. Testování probíhá na základě předem definovaných metrik a pravděpodobnostních prahových hodnot, které jsou pro zamýšlený účel vysoce rizikového systému AI vhodné.
-
Při zavádění systému řízení rizik popsaného v odstavcích 1 až 7 poskytovatelé zváží, zda je s ohledem na jeho zamýšlený účel pravděpodobné, že vysoce rizikový systém AI bude mít nepříznivý dopad na osoby mladší 18 let a případně na jiné zranitelné skupiny.
-
V případě poskytovatelů vysoce rizikových systémů AI, na něž se vztahují požadavky týkající se vnitřních procesů řízení rizik podle jiných příslušných ustanovení práva Unie, mohou být aspekty popsané v odstavcích 1 až 9 součástí postupů řízení rizik stanovených podle uvedeného práva nebo kombinovány s těmito postupy.
Znění: Úřední věstník EU z 12. 7. 2024, bez pozdějších změn (lhůty čl. 113 mění Digital Omnibus, viz karta AI Act).
Komentář
Kontinuální iterativní proces po celý životní cyklus. Identifikace předvídatelných rizik včetně rozumně předvídatelného zneužití, opatření v návrhu, testování proti metrikám a zvláštní ohled na osoby mladší 18 let a jinak zranitelné skupiny.