Iľja Sutskever a Ján Leike od OpenAITím „superalignment“ odstúpil tento týždeň, čím vrhol tieň na záväzok spoločnosti k zodpovednému vývoju AI pod vedením generálneho riaditeľa Sama Altman.
Najmä Leike nelenil. „Počas posledných rokov sa kultúra bezpečnosti a procesy dostali do úzadia k lesklým produktom,“ vyhlásil na rozlúčku, čím potvrdil znepokojenie tých, ktorí to pozorovali. OpenAIsnaha o pokročilú AI.
Včera bol môj posledný deň vo funkcii vedúceho oddelenia, vedúceho oddelenia superalignmentu a vedúceho oddelenia OpenAI?ref_src=twsrc%5Etfw”>@OpenAI.
— Jan Leike (@janleike) 17. mája 2024
Sutskever a Leike sú najnovším záznamom v neustále sa predlžujúcom zozname významných zmien na OpenAI.
Od novembra 2023, kedy Altman len o vlások prežilo pokus o prevrat v zasadacej miestnosti, najmenej päť ďalších kľúčových členov tímu superalignmentu buď odišlo, alebo bolo vytlačených:
- Daniel Kokotajlo, ktorý sa pridal OpenAI v roku 2022 v nádeji, že spoločnosť nasmeruje k zodpovednému vývoju umelej všeobecnej inteligencie (AGI) – vysoko schopnej AI, ktorá spĺňa alebo vyniká naše vlastné kognitívne schopnosti – v apríli 2024 skončil po strate viery v schopnosť vedenia „zodpovedne zvládnuť AGI“.
- Leopold Aschenbrenner a Pavel Izmailov, členovia superalignment tímu, boli údajne minulý mesiac prepustení za „únik“ informácií. OpenAI nepredložil žiadny dôkaz o protiprávnom konaní. Zasvätení špekulujú, že boli terčom toho, že boli Sutskeverovými spojencami.
- Cullen O’Keefe, ďalší bezpečnostný výskumník, odišiel v apríli.
- William Saunders vo februári podal demisiu ale je zjavne viazaný dohodou o neznevažovaní, pokiaľ ide o diskusiu o jeho dôvodoch.
Uprostred tohto vývoja OpenAI sa údajne vyhrážal, že zamestnancom odoberie práva vlastného imania, ak budú kritizovať spoločnosť, resp Altman sám, podľa Vox.
To sťažilo skutočné pochopenie problému OpenAIale dôkazy naznačujú, že iniciatívy v oblasti bezpečnosti a zosúladenia zlyhávajú, ak boli vôbec niekedy úprimné.
OpenAIKontroverzný dej sa zahusťuje
OpenA, ktorú v roku 2015 založili Elon Musk a Sam Altmansa dôkladne zaviazala k open source výskumu a zodpovednému vývoju AI.
Avšak, ako OpenAIVízia spoločnosti sa v posledných rokoch rozšírila, samotná spoločnosť sa stiahla za zatvorené dvere. V roku 2019 prešla z a neziskové výskumné laboratórium na subjekt s „obmedzeným ziskom“.čo podnecuje obavy z posunu ku komercializácii pred transparentnosťou.
Odvtedy, OpenAI si svoj výskum a modely strážila pevnými dohodami o mlčanlivosti a hrozbou súdneho konania voči všetkým zamestnancom, ktorí sa odvážia prehovoriť.
Medzi ďalšie kľúčové kontroverzie v krátkej histórii startupu patria:
- v roku 2019 OpenAI ohromil etickú komunitu AI prechodom z neziskového výskumného laboratória na spoločnosť s „obmedzeným ziskom“, čím vyvolal obavy z posunu ku komercializácii pred transparentnosťou a verejným dobrom.
- Minulý rok sa objavili správy o stretnutiach medzi zatvorenými dverami Altman a svetoví lídri ako Britský premiér Rishi Sunakv ktorom sa OpenAI Generálny riaditeľ údajne ponúkol zdieľanie technológie spoločnosti s britskými spravodajskými službami, čo vyvolalo obavy z pretekov v zbrojení AI. Spoločnosť tiež uzavrela obchody s obrannými spoločnosťami.
- AltmanNestále tweety vyvolali obočie, od úvah o globálnom riadení poháňanom AI až po priznanie existenčného rizika spôsobom, ktorý sa vykresľuje ako pilot lode, ktorú už nevie riadiť.
- V najvážnejšom údere do Altman‚s vodcovstvo, sám Sutskever bol súčasťou a neúspešný prevrat v zasadacej miestnosti v novembri 2023, ktorá sa snažila odvolať generálneho riaditeľa. Zatiaľ čo Altman dokázal držať pri moci, ukázalo sa, že je s ním dobre a skutočne zviazaný OpenAI spôsobom, ktorý je ťažké oddeliť.
OpenAI sa stáva antihrdinom generatívnej AI
Kým kreslo diagnostika a charakter atentát na Altman sú nezodpovední, jeho správa o manipulácii a honbe za osobnými víziami pri obetovaní spolupracovníkov a dôvere verejnosti vyvoláva nepríjemné otázky.
Odrážajúc to, okolité rozhovory Altman a jeho spoločnosť sa stali čoraz krutejšími v X, Reddite a fóre Y Combinator.
Zatiaľ čo technickí šéfovia sú často polarizovaní, zvyčajne získavajú nasledovníkov, ako Elon Musk demonštruje medzi provokatívnejšími typmi. Iní, ako CEO Microsoftu Satya Nadellazískať rešpekt pre ich firemný nouse a kontrolovaný, zrelý štýl vedenia.
Uvedomme si tiež, ako sa páči iným startupom AI Antropickýsa podarilo udržať si pomerne nízky profil napriek vysokým úspechom v odvetví generatívnej AI. OpenAI namiesto toho si zachováva intenzívnu, kontroverznú gravitáciu, ktorá ju udržuje v očiach verejnosti.
Nakoniec by sme to mali povedať, ako to je. OpenAI‚s model utajenia prispel k pocitu, že už nie je dobrým hercom v AI.
jat vytvára podozrivú atmosféru a necháva verejnosť premýšľať, či je generatívna AI akcelerátorom nášho zániku. Vysiela správu, že presadzovanie AGI je záležitosťou zatvorených dverí, hrou, ktorú hrajú technologické elity bez ohľadu na širšie dôsledky.
Morálne licencovanie technologického priemyslu
Morálne licencovanie už dlho sužuje technický priemysel, kde sa ušľachtilosť súčasnej firemnej misie používa na ospravedlnenie etických kompromisov.
Od mantry Facebooku „pohybuj sa rýchlo a rozbi veci“ až po slogan „nebuď zlý“ od Googlu, technologickí giganti opakovane vzývali jazyk pokroku a spoločenského dobra, pričom sa zapájali do pochybných praktík.
OpenAIPoslanie spoločnosti skúmať a rozvíjať AGI „v prospech celého ľudstva“ pozýva snáď konečnú formu morálneho licencovania.
Prísľub technológie, ktorá by mohla vyriešiť najväčšie svetové výzvy a nastoliť éru bezprecedentnej prosperity, je zvodný. Oslovuje naše najhlbšie nádeje a sny, využíva túžbu zanechať trvalý pozitívny vplyv na svet.
Ale v tom je nebezpečenstvo. Keď sú stávky také vysoké a potenciálne odmeny také veľké, je až príliš ľahké ospravedlňovať rezanie zákrut, obchádzanie etických hraníc a odmietanie kritiky v mene väčšieho dobra, ktoré nemôže definovať žiadny jednotlivec alebo malá skupina, dokonca ani so všetkými peniaze a výskum vo svete.
Toto je pasca OpenAI riziká spadnutia do. Tým, že sa postavila ako tvorca technológie, ktorá bude prínosom pre celé ľudstvo, spoločnosť si v podstate udelila bianko šek na presadzovanie svojej vízie akýmikoľvek potrebnými prostriedkami.
Ako grécky mýtus o Icharovi, ktorý ignoroval varovania a riskoval letieť príliš blízko k slnku a roztopiť si krídla, OpenAI riskuje zrútenie a spálenie, ak fatálne nesprávne vypočíta zarovnanie AGI. A ak by malo spadnúť, padli by s ním aj časti spoločnosti pripútané k nohám.
Takže, čo s tým všetkým môžeme urobiť? Hovoriť je lacné. Kľúčové sú robustné riadenie, nepretržitý progresívny dialóg a trvalý tlak.
Ako pre OpenAI ako verejný tlak a mediálna kritika OpenAI rásť, pestovať, AltmanJeho pozícia by mohla byť menej udržateľná.
Ak by odišiel alebo bol vylúčený, museli by sme dúfať, že niečo pozitívne vyplní vákuum, ktoré po sebe zanechal.