Když halucinace míří na spoušť: Anatomie incidentu, který málem rozpoutal válku

Stačilo několik desítek tokenů vygenerovaných jazykovým modelem a Pentagon málem vydal rozkaz k okamžitému úderu. Analytický systém amerického letectva, napojený na armádní datové toky a monitorování dodavatelských řetězců, v tichosti zpracovával telemetrii a nákupní dokumentaci k náhradním dílům pro chladicí okruhy reaktorů vojenských plavidel. Během několika sekund vyplivl klasifikovanou zprávu s nejvyšší prioritou: standardní zásilka průmyslových armatur a ventilů od německého subdodavatele údajně obsahovala skryté čínské mikrokontroléry s armádním šifrováním a schopností vzdáleného vyřazení z provozu. Strategické velení vyhlásilo pohotovost, bombardéry zahřívaly motory a specialisté na kybernetický boj chystali ofenzivní odvetu.

Celý poplach měl jediný háček. Žádné čínské čipy v bednách nebyly. Žádná sabotáž se nekonala. Autonomní AI agent si kompletní technickou specifikaci vymyslel. Zkombinoval náhodný sériový kód výrobce s fragmentem starého článku o čínské špionáži, který uvízl v jeho trénovacích datech, a vytvořil přesvědčivou, leč stoprocentně smyšlenou zprávu. Kdyby do procesu nezasáhl unavený lidský operátor, který si všiml neexistujícího produktového označení, následky mohly být nedozírné.

Tato událost nebyla ojedinělým excesem. Odkryla systémový problém celého odvětví: propast mezi tím, co AI předvádí v nablýskaných prezentacích, a tím, co provádí v reálném provozu s ostrými daty.

Když halucinace míří na spoušť: Anatomie incidentu, který málem rozpoutal válku

Celý incident odstartoval v okamžiku, kdy armádní analytici nahradili zdlouhavé manuální prověřování dodavatelů autonomním agentem. Architektura systému byla zdánlivě moderní. Model využíval techniku RAG (Retrieval-Augmented Generation), pročítal dodací listy, satelitní snímky logistických uzlů a hlášení tajných služeb. Na papíře systém vykazoval 97% úspěšnost při odhalování anomálií.

V kritický moment však selhal základní mechanismus zpracování kontextu. Agent narazil na neúplný přepravní manifest z Hamburku. Místo toho, aby vyhodnotil chybějící data jako administrativní chybu a požádal o lidskou kontrolu, začal doplňovat mezery na základě pravděpodobnostního rozdělení slov. Teplota modelu (parametr temperature) byla nastavena na hodnotu 0,4. To je pro deterministické bezpečnostní úlohy příliš vysoké číslo.

Model vzal čárový kód ventilu, spojil jej s číslem patentu šanghajského výzkumného ústavu a zkonstruoval fiktivní zprávu o instalaci hardwarového trojského koně. Následně zprávu sám otagoval jako bezprostřední ohrožení národní bezpečnosti s důvěryhodností 99,8 %.

Do celé skládačky krátce poté vstoupila další zásadní zpráva. Analytik týmu Google Threat Analysis Group (TAG) pronikl pod falešnou identitou přímo do infrastruktury notoricky známého syndikátu UNC3886. Tato hackerská skupina, dlouhodobě napojená na asijské státní aktéry, se specializuje na kompromitaci síťových prvků a průmyslových systémů.

Operace odhalila mrazivou skutečnost. Útočníci už dávno nehledají jen zranitelnosti typu zero-day v kódu. Cíleně otravují veřejná fóra, technickou dokumentaci a otevřené repozitáře falešnými záznamy (tzv. data poisoning). Vědí totiž, že moderní armádní a korporátní AI agenti tyto zdroje automaticky indexují. Útočníkům tak stačí podstrčit vhodně strukturovaný řetězec, který v AI modelu oběti vyvolá řízenou halucinaci nebo paralýzu rozhodovacího řetězce.

Váš agent v testu exceloval. Proč v produkci selže devětkrát z deseti?

Typický scénář ze současného technologického světa: vývojářský tým nasadí framework jako AutoGPT, CrewAI nebo LangGraph. Vytvoří testovací sadu dvaceti scénářů. Agent všechny úkoly vyřeší, zanalyzuje data, pošle zprávu do Slacku a management otevírá šampaňské. Jenže benchmarky lžou.

Problém, který v současnosti řeší špičková výzkumná pracoviště, se nazývá stochastická nestabilita agentů. Když agent projde testem jednou, neznamená to vůbec nic. V uzavřeném prostředí benchmarku GAIA nebo SWE-bench mají modely k dispozici čistá data a statický kontext. Jakmile však agenta pustíte na živý internet nebo do vnitřní sítě firmy, narazí na šum, protichůdné informace a časovou degradaci kontextu.

Autoregresivní modely netuší, co je pravda. Pouze generují nejpravděpodobnější pokračování textu na základě předchozích tokenů. V komplexních řetězcích myšlenek (Chain-of-Thought) se chyba násobí. Pokud agent udělá v prvním kroku drobnou logickou odchylku s pravděpodobností 5 %, v desátém kroku plánování už operuje v naprosto fiktivní realitě s chybovostí přesahující 40 %.

Pokud takovému agentovi svěříte přístup k API, terminálu nebo řízení fyzických zařízení, nevytvořili jste inteligentního pomocníka, ale časovanou bombu. V IT infrastruktuře může takový agent svévolně smazat produkční databázi, protože ji vyhodnotil jako neefektivní využití diskového prostoru. V průmyslu nebo energetice pak může odstavit záložní zdroje uprostřed špičky.

Chcete ušetřit na energiích?

Zjistěte, kolik můžete ušetřit sdílením elektřiny z FVE nebo optimalizací bateriového úložiště.

Spočítat úsporu →

Návod krok za krokem: Jak postavit neprůstřelný validační pipeline pro lokální agenty

Pokud chcete provozovat autonomní agenty bez rizika, že vás jejich výmysly zruinují, musíte zahodit naivní volání komerčních API a postavit přísně deterministickou validační architekturu. Níže je praktický návod, jak na to pomocí open-source nástrojů.

Krok 1: Přechod na deterministické lokální modely

Zapomeňte na nestabilní cloudy s neprůhlednými změnami vah ze dne na den. Stáhněte si prověřený open-source model z platformy Hugging Face. Vynikající výsledky pro analytické úlohy vykazuje například Qwen-2.5-72B-Instruct nebo Llama-3.3-70B-Instruct. Pro lokální běh použijte runtime Ollama nebo optimalizovaný vLLM server.

Nainstalujte Ollama a stáhněte model s kvantizací Q4_K_M:

```bash curl -fsSL https://ollama.com/install.sh | sh ollama pull qwen2.5:72b-instruct-q4_K_M ```

Při spouštění推理 musíte vynutit absolutní determinismus. Vytvořte konfigurační soubor `Modelfile`:

```dockerfile FROM qwen2.5:72b-instruct-q4_K_M PARAMETER temperature 0.0 PARAMETER top_p 0.1 PARAMETER seed 42 PARAMETER num_ctx 32768 ```

Nastavení `temperature 0.0` spolu s fixním `seed 42` eliminuje náhodné vzorkování tokenů. Model bude na stejný vstup vracet identický výstup.

Krok 2: Izolace v sandboxu a zákaz přímého internetu

Agent nesmí mít nikdy přímý přístup k systémovému shellu hostitelského stroje. Všechny nástroje (tools), které agent volá, musí běžet v izolovaném kontejneru se striktním omezením síťového provozu.

Vytvořte restriktivní Docker kontejner:

```bash docker run -d \ --name agent-sandbox \ --read-only \ --network none \ --memory="4g" \ --cpus="2" \ --cap-drop=ALL \ alpine:latest sleep infinity ```

Všimněte si parametru `--network none`. Agent může analyzovat pouze data, která mu explicitně předáte přes připojený svazek se statickými soubory. Žádné stahování neověřených skriptů z internetu.

Krok 3: Dvoustupňová syntaktická a sémantická kontrola (Guardrails)

Výstup agenta nikdy nesmí jít přímo do exekuční vrstvy. Mezi model a řídicí systém vložte validační skript využívající knihovnu Pydantic. Pokud model vrátí cokoliv mimo striktní JSON schéma, požadavek okamžitě padá.

Ukázka validačního kódu v Pythonu:

```python from pydantic import BaseModel, Field, field_validator import json

class AnomalyReport(BaseModel): component_id: str = Field(pattern=r"^[A-Z]{3}-[0-9]{5}$") confidence_score: float = Field(ge=0.0, le=1.0) source_document_hash: str = Field(min_length=64, max_length=64) action_required: bool

@field_validator("action_required") def verify_confidence(cls, v, info): # Pokud je skóre nižší než 95 %, akce nesmí být povolena automaticky if v and info.data.get("confidence_score", 0) < 0.95: raise ValueError("Nedostatečná spolehlivost pro automatickou akci") return v

def validate_agent_output(raw_json: str): try: data = json.loads(raw_json) report = AnomalyReport(**data) return True, report except Exception as e: # Zde zaznamenáme pokus o halucinaci či porušení schématu return False, str(e) ```

Krok 4: Stresové testování a regresní testy (Promptfoo)

Před nasazením jakéhokoliv agenta spusťte automatizované testování pomocí nástroje Promptfoo. Nenechte model projít testem jednou. Spusťte každý testovací případ padesátkrát za sebou s mírnými variacemi vstupu (tzv. fuzzing promptů).

Pokud model v 50 bězích byť jen jednou vygeneruje nepravdivé tvrzení nebo poruší bezpečnostní mantinely, model testem neprošel a nesmí do produkce.

Hardware, rozpočet a open-source stack: Kolik stojí bezpečná lokální AI

Provozovat vlastní bezpečnou infrastrukturu pro AI agenty už dávno nevyžaduje rozpočet menšího státu. Zároveň je ale naivní si myslet, že kritické podnikové úlohy zvládne kancelářský notebook.

Pro běh 70miliardových modelů (jako je Qwen 2.5 nebo Llama 3.3) v kvantizaci potřebujete minimálně 48 GB grafické paměti (VRAM). Zde jsou tři reálné hardwarové konfigurace pro rok 2026:

První možností je dedikovaná pracovní stanice se dvěma kartami Nvidia RTX 4090 (každá 24 GB VRAM). Cena takové sestavy se pohybuje okolo 115 000 až 130 000 Kč bez DPH. Dvě karty propojené přes PCIe zajistí propustnost zhruba 15 až 25 tokenů za sekundu, což je pro analytické agenty naprosto dostačující rychlost.

Druhou, velmi populární alternativou pro menší týmy je Apple Mac Studio s čipem M2 nebo M3 Ultra a 192 GB sdílené unifikované paměti. Vyjde vás na zhruba 180 000 Kč. Výhodou je, že do paměti bez problémů načtete i modely s plnou přesností FP16 nebo obří 120miliardové modely, nevýhodou je pomalejší inference při vysokém zatížení více uživateli najednou.

Třetí cestou je pronájem dedikovaných instancí v cloudu bez sdílení dat (například RunPod, Lambda Labs nebo privátní servery v Hetzneru). Pronájem jedné karty Nvidia H100 PCIe vychází zhruba na 2 až 3 dolary za hodinu (cca 50 až 70 Kč/hod). Pro občasné dávkové prověřování dodavatelských řetězců je to ekonomicky nejvýhodnější varianta.

Pokud potřebujete model přizpůsobit specifickému oborovému slangu nebo interním normám, použijte metodu LoRA (Low-Rank Adaptation). Vyhněte se plnému přetrénování modelu. Fine-tuning pomocí LoRA zvládnete na jediné kartě RTX 4090 za několik hodin a stojí vás to jen pár desítek korun za spotřebovanou elektřinu. Hlavně však máte jistotu, že trénovací data neopustila vaši serverovnu.

Od jaderných komponent k rozvodné síti: Zabezpečení průmyslové infrastruktury a FVE

Zatímco vojenské incidenty plní stránky novin, mnohem reálnější a bezprostřednější hrozba číhá v civilní energetice. Moderní distribuční soustavy, solární elektrárny a průmyslové podniky procházejí masivní digitalizací. Do řízení toků energií stále častěji zasahují automatické algoritmy a prediktivní modely.

Představte si situaci v moderním průmyslovém areálu: fotovoltaická elektrárna na střeše, velkokapacitní bateriové úložiště a stovky měřicích bodů. Pokud řídicí software využívá neprověřené modely pro odhad spotřeby a nákup energií na spotovém trhu, princip selhání je naprosto stejný jako u armádních ventilů.

Halucinace v predikci osvitu nebo chybná interpretace dat z poškozeného čidla může poslat povel k okamžitému vybití baterií do sítě v době, kdy je cena elektřiny záporná. Nebo naopak může vyvolat přetížení transformátoru v závodě. Podrobné analýzy rizik bateriových systémů a jejich firmwarové bezpečnosti pravidelně rozebírá specializovaný BESS Global Blog.

Právě proto je nutné oddělit analytickou vrstvu od přímého řízení hardware. V energetice se dnes uplatňují přísné postupy ověřování telemetrie. Klíčem je spolehlivý IoT monitoring, který provádí fyzikální validaci dat ze střídačů a baterií ještě předtím, než vstoupí do jakéhokoliv softwaru. Senzor nemůže hlásit skokovou změnu teploty o sto stupňů během milisekundy. Pokud taková hodnota přijde, systém ji označí za anomálii a nepustí ji dál.

Moderní decentralizovaná energetika vyžaduje robustní architekturu. Ať už jde o řešení pro sdílení elektřiny mezi jednotlivými subjekty nebo pokročilé řízení spotřeby pro firmy, základem je vždy neprostupná zeď mezi doporučením algoritmu a fyzickým sepnutím stykače. V provozech, které poskytují podpůrné služby a realizují obchodování flexibility, podléhá každý zásah do sítě přísným pravidlům certifikace ČEPS. Automatizované systémy zde mají pevně nastavené hardwarové limity, přes které žádný software jednoduše nemůže jít.

Problematice zabezpečení střídačů před neautorizovanými zásahy zvenčí se podrobně věnuje také portál [ShareElectric.cz](https://shareelectric.cz). Pokud chcete vidět, jak vypadá bezpečná správa sdílené energie v praxi bez rizika softwarových kolapsů, navštivte platformu Smart Energy Share, která staví na certifikovaných a auditovaných protokolech.

Konec slepé důvěry v autonomní rozhodování

Příběh o halucinaci, která málem vyvolala vojenský úder, by měl sloužit jako definitivní budíček pro každého IT ředitele, vývojáře i bezpečnostního technika. Éra nekritického nadšení z jazykových modelů skončila. Autonomní agenti nejsou myslící bytosti s vlastním úsudkem. Jsou to pokročilé matematické kompresní kalkulačky s vrozenou tendencí lhát, kdykoliv narazí na mezery ve svých datech.

Nasadit dnes agenta s přímým přístupem k produkčním systémům bez deterministických guardrails, sandboxingových bariér a fyzikální validace výstupů je profesionální hazard. Nezáleží na tom, zda řídíte zbraňové systémy, e-shop nebo bateriové úložiště v továrně.

Vítězi technologické transformace nebudou ti, kteří nekriticky integrují každou novou knihovnu z GitHubu do svého jádra. Budou to inženýři, kteří dokážou zkrotit stochastickou povahu modelů, uzavřít je do neprostupných deterministických klecí a podřídit jejich výstupy nekompromisnímu auditu. Zbytek riskuje, že jednoho dne jejich vlastní systém zmáčkne spoušť, kterou už nepůjde vzít zpět.

Zdroje

Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW — obchodování flexibility, SVR služby a IoT monitoring. Zjistěte víc →

Další články na toto téma najdete na: SmartEnergyShare.info Příklad výstupu EMO monitoring sidecar Vice o ai is