Spoločnosť Meta, ktorá vyvíja jeden z najväčších základných open-source veľkých jazykových modelov, Llama, verí, že v budúcnosti bude potrebovať výrazne viac výpočtového výkonu na trénovanie modelov.
Mark Zuckerberg na utorkovej výzve spoločnosti Meta o zisku za druhý štvrťrok povedal, že na trénovanie Llama 4 bude spoločnosť potrebovať 10x viac výpočtov, ako bolo potrebné na trénovanie Llama 3. Stále však chce, aby Meta vybudovala kapacitu na trénovanie modelov a nezaostávala za svojimi konkurentmi. .
„Množstvo výpočtovej techniky potrebnej na trénovanie Llama 4 bude pravdepodobne takmer 10-krát väčšie ako to, čo sme použili na trénovanie Llama 3, a budúce modely budú ďalej rásť,“ povedal Zuckerberg.
„Je ťažké predpovedať, ako to bude smerovať do budúcnosti o niekoľko generácií. Ale v tomto bode by som radšej riskoval budovanie kapacity skôr, ako bude potrebné, ako príliš neskoro, vzhľadom na dlhé dodacie lehoty na vytváranie nových inferenčných projektov.“
Meta uvoľnená Llama 3 s 80 miliardami parametrov v apríli. Spoločnosť minulý týždeň vydala inovovanú verziu modelu, tzv Llama 3.1 405B, ktorá mala 405 miliárd parametrovčo z neho robí najväčší model s otvoreným zdrojom od spoločnosti Meta.
Finančná riaditeľka spoločnosti Meta, Susan Li, tiež uviedla, že spoločnosť uvažuje o rôznych projektoch dátových centier a budovaní kapacity na trénovanie budúcich modelov AI. Povedala, že Meta očakáva, že táto investícia zvýši kapitálové výdavky v roku 2025.
Školenie veľkých jazykových modelov môže byť nákladná záležitosť. Kapitálové výdavky spoločnosti Meta vzrástli v 2. štvrťroku 2024 takmer o 33 % na 8,5 miliardy USD zo 6,4 miliardy USD o rok skôr, a to vďaka investíciám do serverov, dátových centier a sieťovej infraštruktúry.
Podľa správy z InformácieOpenAI minie 3 miliardy dolárov na školiace modely a ďalšie 4 miliardy dolárov na prenájom serverov so zľavou od spoločnosti Microsoft.
„Pri rozširovaní kapacity generatívnej umelej inteligencie na zlepšenie našich základných modelov budeme pokračovať v budovaní našej infraštruktúry spôsobom, ktorý nám v priebehu času poskytne flexibilitu v tom, ako ju budeme používať. To nám umožní nasmerovať školiacu kapacitu na odvodenie umelej inteligencie alebo na našu základnú prácu v oblasti hodnotenia a odporúčaní, keď očakávame, že by to bolo hodnotnejšie,“ povedal Li počas hovoru.
Meta počas hovoru hovorila aj o svojom spotrebiteľskom zameraní Používa Meta AI a povedal, že India je najväčším trhom jej chatbotov. Li však poznamenal, že spoločnosť neočakáva, že produkty Gen AI prispejú k výnosom významným spôsobom.
