Proč GitHub Copilot končí v podobě, jakou jste znali
Vykašlete se na drahý Copilot: Mellum2 od JetBrains vám poběží i na notebooku a zadarmo
GitHub Copilot právě vrazil nůž do zad milionům vývojářů. Dlouho se tvářili, že deset dolarů měsíčně za neomezené generování kódu je udržitelný model, ale realita je dohnala. Nový systém platby podle skutečné spotřeby (usage-based pricing) vyvolal na Redditu a Twitteru vlnu čisté nenávisti. Programátoři, kteří byli zvyklí na „all-you-can-eat“ bufet, teď najednou musí počítat každý token. A právě v tuhle chvíli, kdy Microsoft začíná utahovat šrouby, přichází JetBrains se svým modelem Mellum2. Je to 12B Mixture-of-Experts (MoE) model, který slibuje jediné: konec závislosti na cloudu. Pokud máte slušnou grafiku nebo Mac s procesorem M2/M3, můžete mít špičkového asistenta přímo v lokálu. A věřte mi, že po přečtení faktury od Microsoftu to bude vaše nová priorita.
Proč GitHub Copilot končí v podobě, jakou jste znali
Provozovat velké jazykové modely (LLM) stojí šílené peníze. Nedávno prosákly informace o tom, kolik Microsoft a Google skutečně pálí na každém dotazu, a ta čísla jsou děsivá. GitHub Copilot byl od začátku dotovaný projekt, který měl nalákat lidi do ekosystému. Teď ale přišla fáze „monetizace“. Uživatelé hlásí, že nový ceník může u aktivních vývojářů snadno vyskočit na pětinásobek původní ceny. To není jen mírné zdražení, to je změna pravidel hry. Lidé začínají chápat, že spoléhat se na cizí API u nástroje, který používáte osm hodin denně, je strategická sebevražda.
Navíc tu máme otázku soukromí. I když Microsoft tvrdí, že váš kód nepoužívá k trénování (pokud si to v nastavení vypnete), korporátní právníci z toho mají pořád osypky. Právě proto roste hlad po modelech, které nikdy neopustí vaši místní síť. Mellum2 od JetBrains míří přesně sem. JetBrains nejsou žádní nováčci, jejich IDE jako IntelliJ nebo PyCharm používá polovina planety. Vědí o psaní kódu víc než kluci z OpenAI, a na Mellum2 je to sakra znát. Tenhle model není jen další generátor textu, je to chirurgický nástroj na refaktorování a debugging.
Cena za AI ale není jen v dolarech na faktuře. Je to i čistá energie. Zatímco se federální vlády v USA marně snaží zabavit superpočítače výzkumným centrům pro klima (ano, tenhle bizarní spor o výpočetní výkon pro modelování oteplování versus trénování AI skutečně probíhá), běžný uživatel může přispět k řešení tím, že nebude pálit megawatty v datacentrech Azure pro každý jednoduchý `if` cyklus. Lokální inference je totiž řádově efektivnější. Pokud vás zajímá, jak se dnes hospodaří s energií v éře nenasytných serveroven, podívejte se na Smart Energy Share, kde se řeší přesně tyhle výzvy – od bateriových úložišť až po obchodování s flexibilitou.
Mellum2: Tajná zbraň s architekturou MoE
Co to vlastně znamená, že je Mellum2 „12B Mixture-of-Experts“ model? Pokud se v AI pohybuje, víte, že klasické monolitické modely jsou jako jeden obří mozek, který musíte celý nastartovat, i když chcete jen spočítat 2+2. MoE je jiný příběh. Představte si to jako tým dvanácti specialistů. Když model dostane úkol napsat kus kódu v Pythonu, neaktivuje všech 12 miliard parametrů. Místo toho „router“ pošle dotaz jen dvěma nebo třem expertům, kteří se na danou problematiku specializují.
Díky tomu má Mellum2 znalostní bázi modelu o velikosti 12 miliard parametrů, ale při samotném výpočtu jich používá jen zlomek (pravděpodobně kolem 2-3 miliard v jeden okamžik). Výsledek? Model je bleskově rychlý i na průměrném hardwaru, ale přitom není hloupý jako ořezané 3B modely. JetBrains model trénovali na obrovském množství kvalitního kódu, který prošel jejich statickou analýzou. To je zásadní rozdíl – Mellum2 negeneruje kód jen podle toho, co „viděl“ na GitHubu, ale podle pravidel, která JetBrains léta pilovali ve svých kompilátorech.
Další pecka je kontextové okno. Mellum2 zvládá pracovat s rozsáhlými codebase bez toho, aby po třech souborech zapomněl, co bylo na začátku. To je přesně to místo, kde většina open-source modelů selhávala. Pokud vás zajímá, jak se dají takové modely využít i v jiných odvětvích, třeba v predikci spotřeby energie v chytrých sítích, mrkněte na smartenergyshare.info. AI v energetice je dnes stejně horké téma jako AI v programování.
Jak rozchodit Mellum2 lokálně: Návod pro smrtelníky
Nebudu vám lhát – pokud máte starý laptop po babičce s integrovanou grafikou, Mellum2 na něm nepoletí. Ale pokud máte aspoň 16 GB RAM (ideálně 32 GB) a nějakou rozumnou GPU od Nvidie (RTX 3060 a výš) nebo Apple Silicon, jste ve hře. Nejsnazší cesta vede přes HuggingFace. Tam najdete model v různých formátech. Pro lokální běh doporučuji formát GGUF, který je optimalizovaný pro procesory a sdílenou paměť.
Postup je jednoduchý: 1. Nainstalujte si Ollama. Je to v podstatě Docker pro AI modely. Stačí jeden příkaz v terminálu a máte hotovo. 2. Stáhněte si Mellum2 (zatímco JetBrains ho primárně tlačí do svých IDE, komunita už připravuje verze pro univerzální použití). 3. Pokud chcete model používat přímo ve VS Code (ironie, já vím) nebo v JetBrains IDE, nainstalujte si plugin jako Continue.dev. Ten vám umožní přepínat mezi různými modely.
Pro fajnšmekry je tu možnost využít LoRA (Low-Rank Adaptation). To je technika, jak si model „přihnout“ na svůj vlastní styl kódování nebo na specifické firemní knihovny, aniž byste museli trénovat celý 12B kolos znovu. Stačí vám pár tisíc řádků vašeho nejlepšího kódu a během hodiny trénování na jedné GPU máte model, který píše kód přesně tak, jak to vyžaduje váš senior architekt. Tohle je úroveň přizpůsobení, o které si u uzavřeného Copilotu můžete nechat jen zdát. Více o legislativních aspektech a bezpečnosti dat u takových řešení se dočtete na electric-share.cz.
DPO: Když AI ví, co je správně, i bez vás
JetBrains u Mellum2 použili techniku zvanou Direct Preference Optimization (DPO). Většina lidí zná RLHF (Reinforcement Learning from Human Feedback), což je ten proces, kde stovky lidí v Keni klikají na to, která odpověď AI je lepší. DPO je elegantnější a matematicky čistší způsob, jak model naučit preference. V kontextu Mellum2 to znamená, že model byl trénován na párech „špatný kód vs. dobrý kód“.
Tato metoda se ukazuje jako extrémně efektivní právě u programování. Na rozdíl od běžného chatování, kde je „dobrá odpověď“ subjektivní, u kódu existují jasná kritéria: funguje to? Je to bezpečné? Je to efektivní? DPO umožňuje modelu Mellum2 vyhnout se těm typickým halucinacím, kdy vám AI s klidem nabídne neexistující knihovnu nebo bezpečnostní díru velkou jako vrata od stodoly.
JetBrains navíc posouvají DPO za hranice chatbotů. Integrují ho přímo do workflow, kde model sleduje, jaké návrhy vývojář přijímá a jaké odmítá v reálném čase. Tím vzniká neuvěřitelně silná zpětná vazba. Tohle je směr, kterým se bude ubírat celá AI scéna. Lokální modely už nebudou jen hloupějšími bratříčky GPT-4, ale specializovanými experty, kteří znají váš kontext lépe než jakýkoliv cloud. Pokud vás zajímají velké systémy a jak AI řídí komplexní infrastrukturu, podívejte se na bess-global-blog.vercel.app, kde se rozebírají velká bateriová úložiště (BESS) a jejich řízení pomocí chytrých algoritmů.
Energetický hlad AI a proč fedi chtěli ukrást superpočítač
Tady začíná ta pravá kyberpunková realita. Nedávno proběhla zpráva, že se federální úřady v USA pokusily (a neuspěly) „zabavit“ část výpočetního výkonu superpočítače v jednom z center pro výzkum klimatu. Důvod? Národní bezpečnost a potřeba trénovat modely pro obranu. Je to jasný signál: výpočetní výkon je nová ropa. A stejně jako u ropy, i tady narážíme na limity přenosové soustavy a výroby elektřiny.
AI modely jsou energetické černé díry. Jeden dotaz na ChatGPT spotřebuje tolik energie, co deset dotazů na Google. Když si uvědomíte, že GitHub Copilot používají miliony lidí, dojde vám, že Microsoft musí stavět nové elektrárny jen pro to, aby vám mohl doplňovat závorky v Javascriptu. To je neudržitelné. Proto je přechod na modely jako Mellum2, které běží lokálně, v podstatě ekologickým činem. Využíváte totiž energii, kterou váš počítač stejně odebírá, a nezatěžujete páteřní sítě a obří datacentra.
A tady se kruh uzavírá. SmartEnergyShare nabízí řešení pro firmy, které chtějí tuhle energetickou náročnost zvládnout. Pokud provozujete vlastní serverovnu pro AI, potřebujete sdílení energie, obchodování s bateriemi (BESS 50-250 kW) a flexibilitu. Day trading elektřiny a obchodování odchylek se stává nutností pro každého, kdo to s lokální AI myslí vážně. V budoucnu nebude váš úspěch záviset jen na tom, jak dobrý kód píšete, ale i na tom, jak efektivně ho dokážete „nakrmit“ elektřinou.
Verdikt: Má smysl opouštět cloud?
Mellum2 není dokonalý. GPT-4o je pořád o něco lepší v chápání extrémně komplexních architektonických dotazů a v psaní básniček o programování v COBOLu. Ale ruku na srdce: kolikrát denně to potřebujete? Pro 95 % každodenní práce – psaní boilerplate kódu, testů, refaktorování a vysvětlování chybových hlášek – je Mellum2 naprosto dostatečný. A hlavně: je váš. Nikdo vám ho nevypne, nikdo vám nezmění ceník ze dne na den a nikdo nebude špehovat vaše tajné algoritmy.
GitHub Copilot se svým usage-based pricingem udělal chybu, která otevřela dveře lokálním modelům. JetBrains Mellum2 do těchto dveří vrazil s razancí beranidla. Moje rada zní: začněte s lokální AI experimentovat hned teď. Nečekejte, až vám přijde první faktura, která vás donutí prodat ledvinu. Hardwarové nároky klesají, efektivita modelů roste a svoboda, kterou získáte tím, že odstřihnete cloudové vodítko, je k nezaplacení.
Až budete svůj lokální model konfigurovat, vzpomeňte si, že i digitální mozek potřebuje reálnou energii. A v tomhle světě, kde se bojuje o každý kilowatt pro superpočítače, je dobré mít na své straně partnery, kteří energetice rozumí. SmartEnergyShare je tu pro ty, kteří chtějí stavět budoucnost na pevných základech, ať už jde o kód, nebo o elektřinu, která ho pohání.
Zdroje
- JetBrains AI Lab: Introducing Mellum2 - Hugging Face: Mellum2 Model Card - GitHub Copilot Pricing Update Discussion - OTE ČR: Monitoring trhu s elektřinou - ERÚ: Energetický regulační věstník - Root.cz: Lokální LLM modely v praxi
Obchodujete s batteriovými úložišti nebo hledáte partnera pro flexibilitu a day trading elektřiny? SmartEnergyShare nabízí kompletní řešení pro BESS projekty od 50 do 250 kW - obchodování odchylek, regulační elektřiny a intraday trading. Zjistěte víc na SmartEnergyShare.
Další články na toto téma najdete na: ElectricShare.cz - inovace a kybernetická bezpečnost Electric-Share.cz - legislativa a dotace