Startup xAI Elona Muska odhalil svoj najnovší výtvor: superpočítač s názvom Colossus.
Tento masívny tréningový systém AI sa v súčasnosti môže pochváliť 100 000 procesormi Nvidia Hopper H100.
Je pripravený na rozšírenie 50 000 nových, pokročilejších čipov série H200 od Nvidie, zhruba dvakrát výkonnejších ako H100s, vďaka čomu bude Colossus pravdepodobne najvýkonnejším počítačom na planéte.
Pre kontext, Meta oznámila plány na akumuláciu 350 000 GPU H100 do konca roku 2024, zatiaľ čo OpenAI sa predpokladá, že pre svoj najvýkonnejší model použije okolo 80 000 GPU, hoci to môže byť oveľa viac.
Musk ohlásil spustenie samotného Colossusu na X počas víkendu Labor Day a uviedol: „Od začiatku do konca to bolo hotové za 122 dní. Colossus je najvýkonnejší tréningový systém AI na svete. Okrem toho sa za pár mesiacov zdvojnásobí na 200 000 (50 000 H200).
Tento víkend, @xAI tím priniesol náš tréningový klaster Colossus 100k H100 online. Od začiatku do konca to bolo hotové za 122 dní.
Colossus je najvýkonnejší tréningový systém AI na svete. Navyše sa v priebehu niekoľkých mesiacov zdvojnásobí na 200 000 (50 000 H200).
Vynikajúci…
— Elon Musk (@elonmusk) 2. septembra 2024
Poháňanie budúcnosti Groku
Bezprostredným účelom Colossusu je trénovať xAI veľký jazykový model (LLM) známy ako Grok.
V súčasnosti je Grok dostupný iba pre platiacich predplatiteľov platformy sociálnych médií Musk X. Spoločnosť už vydala skorú beta verziu Grok-2, ktorá bola trénovaná na približne 15 000 Nvidia H100.
Napriek tomuto relatívne malému súboru tréningových údajov je Grok-2 už považovaný za jeden z najschopnejších veľkých jazykových modelov AI podľa konkurenčných rebríčkov chatbotov. Je to tiež open-source, čím sa vzpiera trendu vydávania uzavretých modelov od konkurentov OpenAI, Anthropic a Google.
Muskove ambície pre Groka sú extravagantné. Už sa teší na Grok-3, ktorého vydanie je naplánované na december 2024.
V júlovom rozhovore s Jordanom Petersonom Musk odvážne tvrdil: „Grok-3 by mal byť v tom momente najvýkonnejšou AI na svete.
Masívny nárast počtu GPU pre tréning Grok-3 naznačuje, že Musk to myslí vážne.
A čo ďalšie ciele xAI?
Spoločnosť xAI, založená v júli 2023, bola spustená s poslaním, ktoré ďaleko presahuje typické kompetencie odvetvia AI.
In Muskove vlastné slová, xAI to chce nakoniec zistiť,,Čo sa do pekla naozaj deje?“ vrátane skúmania základných otázok o realite, temnej hmote atď Fermiho paradoxa ďalšie vesmírne záhady.
Tím xAI bol vybraný, aby zdieľal túto víziu. Igor Babuschkin, ktorý predtým pracoval na Veľkom hadrónovom urýchľovači v CERN-e, uviedol, že spoločnosť chce „naozaj narušiť naše chápanie vesmíru“.
Jimmy Ba, výskumník AI z University of Toronto, vysvetlil cieľ vybudovať „univerzálny stroj na riešenie problémov“ na riešenie najnáročnejších problémov ľudstva.
Ak chcete podporiť svoju budúcnosť, xAI zabezpečilo 6 miliárd dolárov v kole financovania série B v máji 2024, za podpory spoločností rizikového kapitálu ako Andreessen Horowitz a Sequoia Capital, ako aj investorov s hlbokými vreckami, ako sú Fidelity a Kingdom Holding saudského princa Alwaleeda bin Talala.
Mnohí odborníci z Tesly sa domnievajú, že Grok by mohol nakoniec poháňať AI za Teslovým humanoidným robotom Optimusom. Musk tvrdil, že Optimus by mohol pre Teslu generovať ročný zisk 1 bilión dolárov.
Musk tiež naznačil, že môže potenciálne navrhnúť investíciu spoločnosti Tesla vo výške 5 miliárd dolárov do xAI, čo niektorí akcionári privítali.
Takže keď je Colossus online, mohla by byť xAI pripravená prejsť od vytvárania ďalších LLM a pokúsiť sa o niečo odvážne a nové?
Iste, Grok-3 bude pravdepodobne veľmi výkonný. Pravdepodobne bude len o niečo výkonnejší ako jeho rovesníci a len na krátky čas, kým ho niečo predbehne.
Tu musíte spochybniť základné dlhodobé ciele. Spoločnosti s umelou inteligenciou pochmúrne konkurujú podobným modelom trénovaným s prakticky identickými hardvérovými balíkmi.
To ponecháva pole otvorené pre jedného z hlavných hráčov, ktorý môže ísť nad rámec jedného navýšenia a pokúsiť sa o niečo skutočne priekopnícke.
S Colossusom bude xAI prvou, ktorá sa zintenzívni, ako to naznačil Musk pri svojom založení?
