2,8 bilionu tokenů. Co se za obřím číslem skutečně skrývá

Dva biliony osm set miliard tokenů. Takovou zásobu trénovacího materiálu představuje projekt NVIDIA a indických výzkumníků. Jenže větší hromada textu ještě neznamená chytřejší ani bezpečnější umělou inteligenci. Když automatická linka přehlédne chybu, dokáže ji rozmnožit tempem, které by záviděla i tiskárna před volbami.

2,8 bilionu tokenů. Co se za obřím číslem skutečně skrývá

NVIDIA, IIT Madras a laboratoř AI4Bharat představily Nemotron-pretraining-Indic-v1: přibližně 2,8 bilionu tokenů pro 22 indických jazyků. Součástí oznámení je otevřený postup generování dat. Dvanáct jazyků má také varianty přepsané do latinky. Texty vznikají překladem anglických podkladů. Oznámení z 16. října 2026 přitom hovoří o připravovaném vydání; dostupnost konkrétních souborů je nutné ověřit. Původní oznámení NVIDIA na Hugging Face.

První překladatelská past čeká už v titulku. Anglické „trillion“ znamená český bilion. Trillion tokens tedy nejsou triliony tokenů. Rozdíl je milionnásobný. U článku o kvalitě překladů docela příhodný začátek.

Token navíc není totéž co slovo. Je to jednotka, na kterou model rozděluje text. Může představovat část slova, interpunkci nebo jiný úsek. Pro vlastní projekt proto počítejte objem tokenizerem konkrétního modelu. Počet znaků ve složce vám rozpočet tréninku neřekne.

Pro českou firmu je zajímavější výrobní postup než velikost celého balíku. Stejnou logiku můžete použít při přípravě odborných textů pro servisní podporu, průmysl nebo energetiku. Vyberete důvěryhodné dokumenty, vytvoříte jejich jazykové varianty a každou prověříte.

Překlad ovšem nepřidá zkušenost, která ve zdroji chybí. Americká příručka nepokryje české distribuční prostředí jen proto, že ji model přepíše do bezchybné češtiny. Jazyková dostupnost a místní znalost jsou dvě různé věci.

AI překládá, AI známkuje. Kdo kontroluje opraváře?

U dvanáctijazykové větve projektu překlady vytváří i hodnotí Gemma-4-31B-it. Přijímací hranice činí 75 bodů ze 100; slabší výstupy procházejí opravou a novým hodnocením. Jde o skóre podle hodnoticího schématu, nikoli o 75procentní správnost. Autoři také upozorňují, že kontrola identifikátorů zdrojů nenahrazuje odstranění významově podobných textů. Popis metodiky.

Tohle je bezpečnostní slabina, kterou lze snadno přehlédnout. Pokud překladatel a hodnotitel sdílejí stejné slepé místo, může chybný výstup dostat slušnou známku. Představte si technický návod, ze kterého zmizí jediné „ne“. Věta zůstane plynulá. Význam se obrátí.

Vlastní kontrolu proto rozdělte mezi několik mechanismů. Skript může porovnat čísla, jednotky, adresy a bloky kódu. Jiný model posoudí význam. Člověk zkontroluje vzorek, zejména dokumenty s bezpečnostními pokyny. Druhý model není nezávislý auditor v právním ani organizačním smyslu, ale může zachytit odlišné chyby.

Nesledujte pouze průměrné hodnocení. Měřte podíl vypuštěných vět, změněných jednotek a přidaných tvrzení. Rozdíl mezi 10 kW a 10 kWh není stylistická drobnost. Stejně tak překlad nesmí svévolně měnit desetinná místa nebo zaměňovat minimální a maximální hodnoty.

Každý přijatý záznam by měl mít dohledatelný zdroj, verzi modelu, zadání a výsledek kontrol. Až objevíte chybu, potřebujete najít celou postiženou dávku. Ruční hledání v milionech souborů je drahý způsob, jak zjistit, že evidence měla přijít první.

Otevřená data potřebují ochranu už před tréninkem

Bezpečnost nezačíná otázkou, zda chatbot odmítne nebezpečný požadavek. Začíná tím, co dostane ke čtení. Pro pilotní projekt proto vybírejte podklady s jasným původem a zaznamenejte jejich podmínky použití. Licence nástroje, modelu a vstupních dokumentů jsou samostatné položky.

Dalším rizikem jsou instrukce vložené přímo do dokumentů. Text může obsahovat větu, která překladači přikazuje ignorovat zadání nebo změnit hodnocení. Jde o útok prostřednictvím vstupu, často označovaný jako prompt injection. Samotné oddělení dokumentu značkami není spolehlivá obrana.

Generátor překladů proto nepotřebuje přístup k firemní poště, příkazové řádce ani provozním systémům. Vstup má zpracovat jako data. Výsledek musí projít kontrolou formátu a obsahu. Čím méně oprávnění má celý proces, tím menší škodu způsobí případné selhání.

Před zpracováním odstraňte přístupové údaje a zbytečné osobní informace. Syntetický výstup není automaticky anonymní. Model může konkrétní jméno, telefon nebo tajný řetězec prostě zopakovat. Provozní protokoly navíc mohou uchovávat původní zadání.

Konkrétní detail nabízí NeMo Data Designer: jeho dokumentace popisuje vypnutí telemetrie pomocí `NEMO_TELEMETRY_ENABLED=false`. Současně upozorňuje, že nastavení neovlivní pravidla externího poskytovatele modelu. Lokální knihovna tedy ještě neznamená lokální zpracování. Dokumentace projektu Data Designer.

Pro firemní pilot si nakreslete jednoduchou cestu dokumentu. Odkud přišel, kam se odeslal, kde vznikla kopie a kdo ji může číst. Tahle mapa bývá užitečnější než další zelená ikonka v bezpečnostním přehledu.

Vlastní pokus: tisíc dokumentů místo bilionů tokenů

Začněte malým souborem, třeba tisícovkou dokumentů, k jejichž použití máte oprávnění. Vyberte různé délky, tabulky, technické návody i běžné otázky. Část zdrojů odložte pro závěrečné testování ještě před tvorbou překladů. Jejich varianty pak nepouštějte do trénovací části.

Pro přípravu prostředí lze použít otevřený NeMo Data Designer. Následující příkazy pro Linux nebo macOS vytvoří izolované prostředí a nainstalují knihovnu:

```bash python3 -m venv .venv source .venv/bin/activate python -m pip install data-designer export NEMO_TELEMETRY_ENABLED=false ```

Instalace sama žádná data nevygeneruje. Musíte připojit poskytovatele modelu, nastavit vstupy, zadání a validátory. Data Designer podporuje generování i hodnocení výstupů; konkrétní konfiguraci sestavte podle jeho oficiálního návodu. Po ověření funkčnosti si zaznamenejte verze závislostí.

Pro jednoduchý lokální experiment poslouží Ollama. Po její instalaci spustíte například:

```bash ollama run qwen3:8b ```

Varianta uvedená v katalogu Ollama má soubor přibližně 5,2 GB a používá kvantizaci Q4_K_M. Velikost souboru není celková potřebná paměť. Další prostor zabere kontext a běhové prostředí. Tento model je pomůcka pro pilot, nikoli reprodukce indické výrobní linky.

První zadání formulujte úzce: přeložit text, zachovat čísla a jednotky, nepřidávat vysvětlení. Výsledek porovnejte se zdrojem. Ukládejte také odmítnuté překlady a důvod odmítnutí. Právě na nich poznáte, zda má smysl zlepšit zadání, změnit model, nebo upravit vstupní dokumenty.

Kolik to stojí? Nejprve spočítejte opakované průchody

Následující rozpočet je modelový výpočet pro vlastní experiment. Nejde o zveřejněné náklady NVIDIA ani o nabídku cloudového poskytovatele.

Předpokládejme milion vstupních tokenů. Překlad vytvoří další milion. Hodnotitel přečte zdroj i překlad, tedy dva miliony, a vypíše sto tisíc tokenů hodnocení. Celkem zaplatíte za tři miliony vstupních a 1,1 milionu výstupních tokenů.

Při hypotetické sazbě 10 Kč za milion vstupních a 40 Kč za milion výstupních tokenů vychází základ na 74 Kč. Opravy, opakování a delší odpovědi účet zvýší. Pokud poskytovatel samostatně účtuje uvažování modelu, musíte zahrnout i je. Dosazujte skutečný ceník zvoleného rozhraní.

U vlastního počítače lze snadno spočítat elektřinu. Sestava s průměrným příkonem 450 W spotřebuje za deset hodin 4,5 kWh. Při zvolené celkové ceně 6 Kč/kWh jde o 27 Kč. Chybí pořizovací cena, opotřebení, chlazení a čas správce. Levné tokeny umějí mít drahý doprovod.

Paměťový odhad je stejně přímočarý. Osm miliard parametrů uložených po čtyřech bitech představuje teoreticky čtyři gigabajty samotných vah. Reálné formáty a běh přidají režii. Pro trénování navíc počítejte s dalšími pracovními daty; požadavky nelze odvodit z velikosti staženého souboru.

Rozpočet lidské kontroly nepodceňujte. Při vlastní plánovací sazbě 500 Kč za hodinu stojí osm hodin revizí 4 000 Kč. Úspora několika korun na generování nedává smysl, pokud kvůli ní kontrolor stráví odpoledne opravováním pokažených tabulek.

LoRA pomůže s přizpůsobením. Kvalitu musíte změřit zvlášť

Předtrénování učí model široké jazykové a znalostní vzorce. Firemní projekt často potřebuje užší změnu: správnou terminologii, požadovaný formát nebo způsob odpovídání. Tady přichází na řadu LoRA.

Metoda ponechá původní váhy modelu zmrazené a trénuje menší doplňkové matice. Tím snižuje počet upravovaných parametrů a paměťové nároky. Implementaci nabízí knihovna PEFT na Hugging Face. Úspora ale nezaručuje správnost výsledku ani doplnění všech chybějících znalostí. Vysvětlení LoRA v dokumentaci PEFT.

Pro konkrétní firemní fakta zvažte také vyhledávání v dokumentech při odpovídání. Aktuální servisní postup nebo ceník se pak nemusí učit do vah. Model dostane příslušný podklad až s dotazem. Výhodou je snazší aktualizace a možnost uvést zdroj; nevýhodou závislost na kvalitě vyhledávání.

Porovnejte výchozí model, model s dokumentovým vyhledáváním a případnou variantu s LoRA na stejných otázkách. Hodnoťte správnost, citace, latenci i četnost vymyšlených odpovědí. Testovací příklady nesmějí být jen lehce přepsané trénovací dokumenty.

Indický projekt doprovází otevřená sada Indic-LLM-Eval-Suite. Zahrnuje různé schopnosti, od znalostí po překlad a dodržování instrukcí. Jazykové pokrytí se mezi testy liší. Jeden průměr proto nevypoví všechno. Představení hodnoticí sady AI4Bharat.

Pro českou podporu přidejte překlepy, neúplné otázky a správnou odpověď „z podkladů to nelze určit“. Model, který sebevědomě hádá číslo jističe, nepotřebuje lepší sloh. Potřebuje lepší kontrolu.

Server má elektroměr. A chatbot nemá řídit střídač

Souvislost s energetikou je praktická. AI může třídit servisní hlášení, připravovat podklady pro technika nebo vysvětlovat manuály. V takovém nasazení jí nejprve dejte pouze čtení. Změny nastavení zařízení oddělte do systému s vlastními pravidly, oprávněními a potvrzením odpovědné osoby.

Provozní data mají jinou povahu než trénovací text. U měření potřebujete časové značky, jednotky a informaci o výpadcích. Příkladem související oblasti je IoT monitoring SmartEnergyShare. Jazykový model může pomoci s vysvětlením zjištění, ale samotné měření ani technickou diagnostiku nenahrazuje.

Dávkové generování lze plánovat podle provozu firmy a dostupné elektřiny. Při úvahách využijete přehled spotových cen, ovšem burzovní cena není celá faktura. Úsporu počítejte podle vlastní smlouvy, odběru a skutečné možnosti přesunout výpočet.

Pokud firma řeší také využití fotovoltaiky, navazuje téma [sdílení elektřiny pro firmy](https://smartenergyshare.com/pro-firmy?utm_source=share-electric&utm_medium=referral&utm_campaign=satellite-marketing). Další souvislosti rozebírá [SdíleníElektřiny.com](https://sdilenielektriny.com); nabídku souvisejících služeb najdete na smartenergyshare.com. Tyto odkazy se týkají energetického provozu, nikoli ověření kvality indického korpusu.

Začněte tedy tisícovkou dokumentů, malým rozpočtem a měřitelným cílem. Požadujte méně chyb, dohledatelné zdroje a jasné náklady na přijatý záznam. Teprve potom přidávejte objem.

Příští rozdíl mezi užitečnou a problematickou firemní AI možná nebude v počtu parametrů. Bude v tom, zda její provozovatel dokáže vysvětlit, odkud přišla konkrétní informace — a rychle odstranit všechny její chybné kopie.

Zdroje

• NVIDIA a AI4Bharat: škálování předtrénování pro indické jazyky — původní oznámení datového korpusu a výrobního postupu. Při plánování vlastního využití ověřujte dostupnost souborů a přiložené podmínky přímo u vydavatele. Oznámený objem není automaticky rozpočet jednoho trénovacího běhu.
• NeMo Data Designer: zdrojový kód a dokumentace — podklady pro instalaci, konfiguraci generování a kontrolu telemetrie. Pro opakovatelnost experimentu zaznamenejte použitou verzi knihovny i připojeného modelu; pozdější změna některé součásti může změnit výsledky.
• AI4Bharat: otevřená sada hodnocení indických modelů — zdroj k metodice testování různých schopností. Při porovnávání sledujte konkrétní jazyky, úlohy a podmínky měření. Souhrnné skóre samo nepopisuje spolehlivost vašeho budoucího nasazení.
• OTE: výsledky denního trhu s elektřinou — český primární zdroj tržních dat pro vlastní energetické výpočty. Hodnoty je potřeba vztáhnout ke konkrétnímu období a odběru; nezaměňujte je s konečnou cenou dodávky.
• IEA: Energie a umělá inteligence — širší kontext vztahu výpočetní infrastruktury a energetiky. Pro rozpočet jednotlivého experimentu však používejte naměřenou spotřebu vlastního zařízení. Globální výhled nenahrazuje elektroměr ani fakturu.

Chcete sdílet elektřinu, optimalizovat náklady nebo začít s obchodováním energie? SmartEnergyShare je platforma pro sdílení energie z FVE, správu bateriových úložišť a chytré řízení spotřeby. Registrace zdarma →

Další články na toto téma najdete na: ElectricShare.cz Proč vůbec trénovat model na indických jazycích Vice o introducing nvidia