OpenAI Superalignment tím, ktorá je zodpovedná za vývoj spôsobov riadenia a riadenia „superinteligentných“ systémov umelej inteligencie, podľa osoby z tohto tímu prisľúbila 20 % výpočtových zdrojov spoločnosti. Žiadosti o zlomok týchto výpočtov však boli často zamietnuté, čo bránilo tímu vykonávať svoju prácu.
Tento problém okrem iného prinútil niekoľkých členov tímu, aby tento týždeň rezignovali, vrátane spoluvedúceho Jana Leikeho, bývalého výskumníka DeepMind, ktorý sa v OpenAI podieľal na vývoji ChatGPT, GPT-4 a predchodcu ChatGPT, InstructGPT.
Leike v piatok ráno zverejnil niekoľko dôvodov pre svoju rezignáciu. „Už nejaký čas nesúhlasím s vedením OpenAI, pokiaľ ide o hlavné priority spoločnosti, až kým sme konečne nedosiahli bod zlomu,“ napísal Leike v sérii príspevkov na X. „Som presvedčený, že oveľa viac z našej šírky pásma by sme mali venovať príprave pre ďalšie generácie modelov v oblasti bezpečnosti, monitorovania, pripravenosti, bezpečnosti, odolnosti protivníkov, (super)zosúladenia, dôvernosti, spoločenského vplyvu a súvisiacich tém. Tieto problémy je dosť ťažké vyriešiť a obávam sa, že nie sme na takej trajektórii, ako sa tam dostať.“
OpenAI okamžite nevrátilo žiadosť o komentár o zdrojoch prisľúbených a pridelených tomuto tímu.
OpenAI vytvorilo tím Superalignment minulý rok v júli a viedli ho Leike a spoluzakladateľ OpenAI Ilya Sutskever, ktorý tento týždeň dal vo firme tiež výpoveď. Mala ambiciózny cieľ vyriešiť hlavné technické výzvy ovládania superinteligentnej AI v nasledujúcich štyroch rokoch. K tímu sa pripojili vedci a inžinieri z predchádzajúcej divízie zosúlaďovania OpenAI, ako aj výskumníci z iných organizácií v celej spoločnosti a mali prispieť k výskumu, ktorý by informoval o bezpečnosti interných modelov aj modelov mimo OpenAI, a prostredníctvom iniciatív vrátane výskumného grantového programu. , žiadať a zdieľať prácu so širším odvetvím AI.
Tímu Superalignment sa podarilo zverejniť súbor bezpečnostných výskumov a naliať milióny dolárov v grantoch externým výskumníkom. Keď však uvedenie produktov na trh začalo zaberať čoraz väčšie množstvo šírky pásma vedenia OpenAI, tím Superalignment zistil, že musí bojovať o väčšie počiatočné investície – investície, o ktorých sa domnieval, že sú rozhodujúce pre deklarované poslanie spoločnosti vyvinúť superinteligentnú AI v prospech celého ľudstva. .
„Stavba inteligentnejších strojov ako človek je vo svojej podstate nebezpečná snaha,“ pokračoval Leike. „V posledných rokoch sa však kultúra bezpečnosti a procesy dostali do úzadia lesklých produktov.“
Sutskeverova bitka s generálnym riaditeľom OpenAI Samom Altmanom slúžila ako ďalšie rozptýlenie.
Sutskever spolu so starým predstavenstvom OpenAI koncom minulého roka náhle prepustili Altmana pre obavy, že Altman nebol „dôsledne úprimný“ k členom predstavenstva. Pod tlakom investorov OpenAI, vrátane Microsoftu, a mnohých vlastných zamestnancov spoločnosti bol Altman nakoniec obnovený, veľká časť predstavenstva odstúpila a Sutskever údajne nikdy sa nevrátil do práce.
Podľa zdroja bol Sutskever nápomocný tímu Superalignment – nielen prispieval k výskumu, ale slúžil ako most k ďalším divíziám v rámci OpenAI. Slúžil by aj ako istý druh veľvyslanca, ktorý zapôsobil na dôležitosť práce tímu na kľúčových rozhodovacích orgánoch OpenAI.
Po Leikeho odchode Altman napísal v X, že súhlasí s tým, že je „veľa viac práce“ a že sú „odhodlaní to urobiť“. Naznačil dlhšie vysvetlenie, ktoré v sobotu ráno poskytol spoluzakladateľ Greg Brockman:
Hoci v Brockmanovej odpovedi je málo konkrétneho, pokiaľ ide o zásady alebo záväzky, povedal, že „potrebujeme mať veľmi úzku spätnú väzbu, prísne testovanie, starostlivé zváženie každého kroku, bezpečnosť na svetovej úrovni a harmóniu bezpečnosti a schopností. “
Po odchode Leikeho a Sutskevera sa John Schulman, ďalší spoluzakladateľ OpenAI, presunul do vedenia práce, ktorú robil tím Superalignment, ale už nebude existovať špecializovaný tím – namiesto toho to bude voľne spojený skupina výskumníkov začlenených do divízií v celej spoločnosti. Hovorca OpenAI to opísal ako „hlbšiu integráciu (tímu)“.
Obávame sa, že v dôsledku toho nebude vývoj AI OpenAI tak zameraný na bezpečnosť, ako by mohol byť.
Spúšťame newsletter AI! Prihlásiť Se tu aby ste ho začali dostávať do vašich schránok 5. júna.
