AI model

AI Model je uvnitř prostě obrovská matice čísel, reprezentující váhy v neuronové síti. Lokálně provozovatelné modely zaberou jednotky až desítky gigabajtů.

Trénování

Trénování modelu je vytváření této obrovské matice postupným "učením" ze zdrojových dat. Počítač opakovaně čte trénovací data (v případě textových modelů řádově stovky gigabajtů a více) a postupně ustaluje váhy ve svojí matici. Ve správné chvíli se trénování ukončí a model je na světě.

Proces trénování je nesmírně výpočetně náročný, desítky tisíc specializovaných výpočetních jednotek jej vytvářejí několik měsíců - celková spotřeba elektřiny takového trénování je porovnatelná s velkým městem.

Nákladnost trénování špičkových modelů se prudce zvyšuje, zvyšují se tím však jejich schopnosti.

Provoz modelu

Provozu modelu se říká inference. S použitím modelu se z vstupního textu (například otázky) vypočítá nejpravděpodobnější výstup (odpověď).

Model se při inferenci nemění - pouze se používá ve složitém výpočtu.

Inference je také výpočetně náročná. Například běžný krátký prompt na Google Gemini v květnu 2025 spotřeboval 0.24 Wh energie. To odpovídá například 9s sledování televize. Při dlouhých konverzacích se samozřejmě spotřeba nasčítává.