Jak AI funguje a proč halucinuje

Situace z praxe

Účetní požádá chatbota o sazbu daně z přidané hodnoty (DPH) pro ubytovací služby a dostane odpověď s číslem paragrafu, který zní naprosto věrohodně. Číslo je ale špatně. Nástroj si ho nevymyslel ze zlé vůle a nebyl ani „rozbitý”. Fungoval přesně tak, jak je navržený. Abyste podobnou chybu odhalili dřív, než ji podepíšete, potřebujete vědět, co se uvnitř děje.

Jazykový model nehledá pravdu, skládá pravděpodobný text

Nástroje jako ChatGPT, Copilot nebo Gemini jsou postavené na takzvaných velkých jazykových modelech. Model se při tréninku načetl obrovské množství textů a naučil se z nich jediné: odhadovat, jaké slovo pravděpodobně následuje po slovech předchozích. Když mu položíte otázku, negeneruje odpověď tak, že by ji vyhledal v databázi ověřených faktů. Skládá text, který statisticky vypadá jako dobrá odpověď na vaši otázku.

Z toho plynou tři vlastnosti, se kterými musíte počítat.

1. Model neví, kdy neví. Nemá vnitřní signál „tady si nejsem jistý”. Nejistou odpověď formuluje stejně sebevědomě jako jistou.
2. Plynulost není správnost. Model je trénovaný na to, aby text zněl dobře. Právě proto jsou jeho chyby tak nebezpečné: mají bezchybnou formu.
3. Detaily jsou nejslabší místo. Obecné shrnutí tématu bývá použitelné. Konkrétní číslo paragrafu, datum, částka, jméno nebo citace jsou přesně ten typ údaje, který model nejčastěji „doplní” podle pravděpodobnosti, ne podle skutečnosti.

Co je halucinace

Halucinací se říká výstupu, který je fakticky nepravdivý, ale tváří se jako fakt. Typické podoby:

• neexistující paragraf, rozsudek nebo norma s věrohodně vypadajícím číslem,
• vymyšlený zdroj (článek, kniha, odkaz), který nikdy nevyšel,
• špatné číslo v jinak správném kontextu (sazba, lhůta, částka, datum),
• sloučení dvou skutečných věcí do jedné neexistující (skutečná firma, skutečný produkt, ale dohromady to nikdy neexistovalo),
• sebejistá odpověď na otázku, na kterou žádná odpověď neexistuje.

Halucinace nejsou vzácná porucha. Jsou přirozený důsledek toho, jak model funguje, a žádné nastavení je úplně neodstraní. Novější modely halucinují méně, ne vůbec.

Jak halucinaci poznat

Univerzální detektor neexistuje, ale funguje disciplína ověřování.

1. Ověřujte všechna tvrdá fakta. Čísla předpisů, lhůty, sazby, částky, jména, data a citace si před použitím ověřte v původním zdroji (zákon, úřední web, interní systém). Platí to stoprocentně pro cokoli, co odchází z firmy ven.
2. Chtějte zdroj a klikněte na něj. Když nástroj umí uvádět odkazy, vyžádejte si je. A skutečně je otevřete, i vymyšlený zdroj vypadá v textu spolehlivě.
3. Pozor na okraje znalostí. Čím užší a novější téma (česká vyhláška z loňska, interní proces vaší firmy), tím vyšší riziko. Model je nejsilnější v tématech, o kterých existuje hodně textů.
4. Položte kontrolní otázku jinak. Když stejnou věc zformulujete znovu a odpověď se rozejde s tou první, máte signál, že model odhaduje.
5. Nespoléhejte na sebejistotu tónu. Formulace „zcela jednoznačně platí” o spolehlivosti nevypovídá vůbec nic.
6. Čím méně tématu rozumíte, tím obezřetnější buďte. Odborník chybu ve svém oboru často pozná na první pohled. Mimo svůj obor tuhle pojistku nemáte, takže ověřování musí být o to důkladnější.

Kvalita vstupů rozhoduje

Model pracuje jen s tím, co dostane. Neúplné zadání, špatně naskenovaný dokument nebo podklady, ve kterých je chyba, vedou k nekvalitnímu výstupu, a to i u nejlepšího nástroje. Než začnete výsledek opravovat dokola, zkontrolujte, co jste do nástroje poslali: přesné zadání, úplné podklady a informaci o tom, k čemu výstup potřebujete. Polovina „chyb AI” jsou ve skutečnosti chyby zadání.

Zlaté pravidlo modulu

Výstup nástroje AI je návrh od velmi sečtělého, velmi rychlého a občas si vymýšlejícího kolegy. Za to, co z návrhu převezmete a pošlete dál, odpovídáte vy a vaše firma. Nástroj podepsaný pod dokumentem není.

Shrnutí

• Jazykový model skládá pravděpodobný text, pravdivost negarantuje.
• Halucinace je systémová vlastnost, ne výjimečná porucha.
• Nejrizikovější jsou konkrétní údaje: čísla, jména, citace, zdroje.
• Tvrdá fakta se před použitím ověřují v původním zdroji, vždy.
• Čím méně tématu rozumím, tím důkladněji ověřuji.
• Kvalita výstupu stojí na kvalitě zadání a podkladů.
• Odpovědnost za převzatý výstup nese člověk, který ho použil.