Jason Knight je spoluzakladateľom a viceprezidentom strojového učenia v spoločnosti OctoAIplatforma poskytuje kompletný balík pre tvorcov aplikácií na spúšťanie, ladenie a škálovanie ich aplikácií AI v cloude alebo na mieste.
OctoAI oddelili od University of Washington pôvodní tvorcovia Apache TVM, open source stacku pre prenosnosť a výkon ML. TVM umožňuje, aby modely ML fungovali efektívne na akomkoľvek hardvérovom backende a rýchlo sa stal kľúčovou súčasťou architektúry populárnych spotrebiteľských zariadení, ako je Amazon Alexa.
Môžete sa podeliť o inšpiráciu pri založení OctoAI a hlavný problém, ktorý ste chceli vyriešiť?
Umelá inteligencia bola tradične komplexnou oblasťou, ktorá je prístupná len pre tých, ktorí ovládajú matematiku a vysokovýkonnú výpočtovú techniku, ktorá je potrebná na to, aby s ňou niečo dokázali. Umelá inteligencia však odomyká dokonalé počítačové rozhrania, textové, hlasové a obrazové naprogramované príkladmi a spätnou väzbou, a prináša plný výkon výpočtovej techniky každému na Zemi. Pred AI boli iba programátori schopní prinútiť počítače, aby robili to, čo chceli, písaním textov tajomného programovacieho jazyka.
OctoAI bol vytvorený s cieľom urýchliť našu cestu k realite, aby viac ľudí mohlo využívať AI a profitovať z nej. A ľudia zase môžu použiť AI na vytváranie ďalších výhod tým, že urýchlia vedu, medicínu, umenie a ďalšie.
Keď sa zamyslíte nad vašimi skúsenosťami v Inteli, ako vás vaše predchádzajúce pozície pripravili na spoluzaloženie a vedenie vývoja v OctoAI?
Intel a pred ním začínajúce hardvérové a biotechnologické startupy s umelou inteligenciou mi poskytli perspektívu vidieť, aká náročná je AI aj pre tie najsofistikovanejšie technologické spoločnosti a aká cenná môže byť pre tých, ktorí prišli na to, ako ju používať. A vidieť, že priepasť medzi tými, ktorí využívajú AI, v porovnaní s tými, ktorí ešte nie sú, je primárne v infraštruktúre, výpočtovej technike a osvedčených postupoch – nie v mágii.
Čo odlišuje OctoStack od iných riešení nasadenia AI dostupných na dnešnom trhu?
OctoStack je prvý kompletný technologický zásobník v odvetví navrhnutý špeciálne na obsluhu generatívnych modelov AI kdekoľvek. Ponúka produkčnú platformu na kľúč, ktorá poskytuje vysoko optimalizované odvodenie, prispôsobenie modelu a správu aktív v celopodnikovom meradle.
OctoStack umožňuje organizáciám dosiahnuť autonómiu AI spustením akéhokoľvek modelu v ich preferovanom prostredí s plnou kontrolou nad dátami, modelmi a hardvérom. Poskytuje tiež bezkonkurenčný výkon a nákladovú efektívnosť s až 12-násobnou úsporou v porovnaní s inými riešeniami, ako je GPT-4.
Môžete vysvetliť výhody nasadenia modelov AI v súkromnom prostredí pomocou OctoStack?
Modely sú v dnešnej dobe všadeprítomné, ale zostavenie správnej infraštruktúry na spustenie týchto modelov a ich použitie s vašimi vlastnými údajmi je miesto, kde sa zotrvačník obchodnej hodnoty skutočne začína točiť. Použitím týchto modelov na vašich najcitlivejších údajoch a ich následnou premenou na prehľady, lepšie rýchle inžinierstvo, kanály RAG a jemné ladenie môžete z generatívnej AI vyťažiť maximum. Pre všetky spoločnosti okrem tých najsofistikovanejších je však stále ťažké to urobiť samostatne, čo je miesto, kde vás riešenie na kľúč, ako je OctoStack, môže urýchliť a spojiť najlepšie postupy na jednom mieste pre vašich odborníkov.
Nasadenie modelov AI v súkromnom prostredí pomocou OctoStack ponúka niekoľko výhod vrátane vylepšeného zabezpečenia a kontroly nad údajmi a modelmi. Zákazníci môžu spúšťať generatívne aplikácie AI v rámci svojich vlastných VPC alebo lokálnych zariadení, čím zaistia, že ich dáta zostanú v bezpečí a v rámci zvolených prostredí. Tento prístup tiež poskytuje podnikom flexibilitu pri prevádzkovaní akéhokoľvek modelu, či už je to open source, vlastný alebo proprietárny, pričom profitujú zo zníženia nákladov a zlepšenia výkonu.
Akým výzvam ste čelili pri optimalizácii OctoStack na podporu širokého spektra hardvéru a ako sa tieto výzvy podarilo prekonať?
Optimalizácia OctoStack na podporu širokej škály hardvéru, ktorý zabezpečuje kompatibilitu a výkon naprieč rôznymi zariadeniami, ako sú GPU NVIDIA a AMD a AWS Inferentia. OctoAI prekonala tieto výzvy tým, že využila svoje hlboké znalosti systémov AI, vyvinuté rokmi výskumu a vývoja, na vytvorenie platformy, ktorá neustále aktualizuje a podporuje ďalšie typy hardvéru, prípady použitia GenAI a osvedčené postupy. To umožňuje OctoAI poskytovať špičkový výkon a nákladovú efektívnosť.
Ak navyše získate najnovšie možnosti v generatívnej AI, ako je multimodalita, volanie funkcií, prísne sledovanie schémy JSON, efektívne doladenie hostingu a ďalšie, do rúk vašich interných vývojárov, urýchlite tým váš štartovací bod AI.
OctoAI má bohatú históriu využívania Apache TVM. Ako tento rámec ovplyvnil možnosti vašej platformy?
Apache TVM sme vytvorili, aby sme uľahčili sofistikovaným vývojárom jednoduchšie písať efektívne knižnice AI pre GPU a akcelerátory. Urobili sme to, pretože získanie maximálneho výkonu z GPU a hardvéru akcelerátora bolo vtedy, ako aj teraz, kritické pre odvodenie AI.
Odvtedy sme využili rovnaké myslenie a odborné znalosti pre celý balík služieb Gen AI na poskytovanie automatizácie pre širšiu skupinu vývojárov.
Môžete prediskutovať nejaké významné vylepšenia výkonu, ktoré OctoStack ponúka, ako napríklad 10-násobné zvýšenie výkonu vo veľkých nasadeniach?
OctoStack ponúka výrazné vylepšenia výkonu vrátane až 12-násobnej úspory v porovnaní s inými modelmi, ako je GPT-4, bez obetovania rýchlosti alebo kvality. Poskytuje tiež 4x lepšie využitie GPU a 50-percentné zníženie prevádzkových nákladov, čo organizáciám umožňuje efektívne a nákladovo efektívne prevádzkovať rozsiahle nasadenia.
Môžete sa podeliť o niektoré pozoruhodné prípady použitia, v ktorých OctoStack výrazne zlepšil nasadenie AI pre vašich klientov?
Pozoruhodným prípadom použitia je Apate.ai, globálna služba na boj proti telefónnym podvodom pomocou generatívnej konverzačnej AI. Apate.ai využil OctoStack na efektívne spustenie svojej sady jazykových modelov v rôznych geografických oblastiach, pričom využíval flexibilitu, rozsah a bezpečnosť OctoStack. Toto nasadenie umožnilo Apate.ai dodávať vlastné modely podporujúce viaceré jazyky a regionálne dialekty, ktoré spĺňajú ich požiadavky na výkon a bezpečnosť.
Okrem toho poskytujeme stovky jemných doladení pre nášho zákazníka OpenPipe. Ak by vytvorili špecializované inštancie pre každú z nich, prípady použitia ich zákazníkov by boli neuskutočniteľné, pretože ich prípady použitia rastú a vyvíjajú sa a neustále preškoľujú svoje parametricky efektívne jemné nastavenia pre maximálnu kvalitu výstupu za nákladovo efektívne ceny.
Ďakujeme za skvelý rozhovor, čitatelia, ktorí sa chcú dozvedieť viac, by mali navštíviť OctoAI.
