[{"data":1,"prerenderedAt":173},["ShallowReactive",2],{"navigation":3,"page-\u002Fmaterialy\u002Ftech_stack":40},[4,10,21,32,36],{"title":5,"path":6,"stem":7,"showInMenu":8,"navSection":9},"Domů","\u002F","index",true,null,{"title":11,"path":12,"stem":13,"children":14,"showInMenu":8,"navSection":16},"Kroužek","\u002Finfo","info\u002Findex",[15,17],{"title":11,"path":12,"stem":13,"showInMenu":8,"navSection":16},"Info",{"title":18,"path":19,"stem":20,"showInMenu":8,"navSection":9},"Lektor","\u002Finfo\u002Flektor","info\u002Flektor",{"title":22,"path":23,"stem":24,"children":25,"showInMenu":8,"navSection":27},"AI - základy","\u002Fmaterialy","materialy\u002Findex",[26,28],{"title":22,"path":23,"stem":24,"showInMenu":8,"navSection":27},"Materiály",{"title":29,"path":30,"stem":31,"showInMenu":8,"navSection":9},"Technické zajištění","\u002Fmaterialy\u002Ftech_stack","materialy\u002Ftech_stack",{"title":33,"path":34,"stem":35,"showInMenu":8,"navSection":9},"Osnova","\u002Fosnova","osnova",{"title":37,"path":38,"stem":39,"showInMenu":8,"navSection":9},"Popis","\u002Fpopis","popis",{"id":41,"title":29,"body":42,"description":161,"extension":169,"meta":170,"navSection":9,"navigation":8,"path":30,"seo":171,"showInMenu":8,"stem":31,"__hash__":172},"content\u002Fmaterialy\u002Ftech_stack.md",{"type":43,"value":44,"toc":160},"minimark",[45,50,54,73,82,85,89,92,97,100,119,123,146,150,153,157],[46,47,49],"h3",{"id":48},"lokální-provozování-otevřených-modelů","Lokální provozování otevřených modelů",[51,52,53],"p",{},"Na lepších spotřebitelských počítačích (\"herní dělo\") lze rozběhnout zveřejněné modely cca do 9B (9 miliard parametrů), rozhodující:",[55,56,57,61,64,67,70],"ul",{},[58,59,60],"li",{},"Model grafické karty",[58,62,63],{},"Velikost paměti GPU",[58,65,66],{},"RAM paměti počítače",[58,68,69],{},"Propustnost (rychlost) paměti GPU",[58,71,72],{},"Případné NPU (Jednotka neurálního zpracování) - koprocesor",[51,74,75],{},[76,77,81],"a",{"href":78,"rel":79},"https:\u002F\u002Fapxml.com\u002Ftools\u002Fvram-calculator",[80],"nofollow","Orientační kalkulačka",[51,83,84],{},"Velký rozmach zažívá i specializovaný hardware, určený pouze na provozování modelů. Ceny začínají tam kde ceny nejdražších herních počítačů končí.",[46,86,88],{"id":87},"provozování-otevřených-modelů-v-cloudu","Provozování otevřených modelů v cloudu",[51,90,91],{},"Existuje spousta služeb, které vám na nějakou dobu \"půjčí\" hardware pro inferenci.",[93,94,96],"h4",{"id":95},"velké-cloudy","Velké cloudy",[51,98,99],{},"Poměrně drahé a složitější na konfiguraci.",[55,101,102,113,116],{},[58,103,104,105,109,110],{},"AWS  ",[106,107,108],"code",{},"g5.xlarge"," či ",[106,111,112],{},"g5.2xlarge",[58,114,115],{},"GCP (google)",[58,117,118],{},"Azure",[93,120,122],{"id":121},"menší-hráči","Menší hráči",[55,124,125,132,139],{},[58,126,127],{},[76,128,131],{"href":129,"rel":130},"https:\u002F\u002Flambda.ai\u002Fpricing",[80],"Lambda Labs",[58,133,134],{},[76,135,138],{"href":136,"rel":137},"https:\u002F\u002Fwww.runpod.io\u002Fpricing",[80],"RunPod",[58,140,141],{},[76,142,145],{"href":143,"rel":144},"https:\u002F\u002Fvast.ai\u002Fpricing",[80],"Vast.ai",[46,147,149],{"id":148},"komerční-modely","Komerční modely",[51,151,152],{},"Claude, Gemini i ChatGPT lze napojit na ledasjaké nástroje pomocí API.\nPlatí se buď fixní částka (s limitem) a nebo za vstupní a výstupní tokeny.",[46,154,156],{"id":155},"propojení","Propojení",[51,158,159],{},"OpenAI API je de facto standard, kterým se spolu dorozumí většina toolů s LLM, ať už těmi komerčními nebo těmi provozovanými na vlastním\u002Fpronajatém hardware.",{"title":161,"searchDepth":162,"depth":162,"links":163},"",2,[164,166,167,168],{"id":48,"depth":165,"text":49},3,{"id":87,"depth":165,"text":88},{"id":148,"depth":165,"text":149},{"id":155,"depth":165,"text":156},"md",{},{"title":29,"description":161},"VWNg6Dw6Snkk3oSM5KGU86A44gmtF4KfACEmEzv8TLE",1775851543353]