Predstavenstvo OpenAI oznámilo vytvorenie Bezpečnostného a bezpečnostného výboru, ktorého úlohou je vydávať odporúčania týkajúce sa kritických bezpečnostných rozhodnutí pre všetky projekty OpenAI.
Výbor vedú riaditelia Bret Taylor (predseda), Adam D’Angelo, Nicole Seligman a generálny riaditeľ OpenAI Sam Altman.
V komisii budú aj Aleksander Madry (vedúci pripravenosti), Lilian Weng (vedúci bezpečnostných systémov), John Schulman (vedúci vedy o zarovnaní), Matt Knight (vedúci bezpečnosti) a Jakub Pachocki (hlavný vedecký pracovník).
Prístup OpenAI k bezpečnosti AI čelil externej aj internej kritike. Minuloročné prepustenie Altmana podporil vtedajší člen predstavenstva Ilja Sutskever a ďalší, údajne kvôli obavám o bezpečnosť.
Minulý týždeň Sutskever a Jan Leike z tímu „superalignment“ OpenAI opustil spoločnosť. Leike špecificky uviedol bezpečnostné problémy ako dôvod svojho odchodu a povedal, že spoločnosť nechala bezpečnosť „ustúpiť do úzadia lesklým produktom“.
Včera Leike oznámil, že sa pripája k Anthropic, aby pracoval na výskume dohľadu a súladu.
Som nadšený, že sa môžem pripojiť AnthropicAI?ref_src=twsrc%5Etfw”>@AntropickýAI pokračovať v misii superalignmentu!
Môj nový tím bude pracovať na škálovateľnom dohľade, slabom až silnom zovšeobecňovaní a automatizovanom výskume zarovnania.
Ak máte záujem pridať sa, moja dms je otvorená.
— Jan Leike (@janleike) 28. mája 2024
Teraz je Altman nielen späť ako generálny riaditeľ, ale sedí aj vo výbore zodpovednom za zdôrazňovanie bezpečnostných otázok.
Výbor pre bezpečnosť a zabezpečenie využije nasledujúcich 90 dní na vyhodnotenie a ďalší rozvoj procesov a záruk OpenAI.
Odporúčania budú predložené správnej rade OpenAI na schválenie a spoločnosť sa zaviazala zverejniť prijaté bezpečnostné odporúčania.
Tento tlak na ďalšie mantinely prichádza, keď OpenAI hovorí, že začala trénovať svoj ďalší hraničný model, o ktorom hovorí, že „nás posunie na ďalšiu úroveň schopností na našej ceste k AGI“.
Pre nový model nebol ponúknutý žiadny očakávaný dátum vydania, ale samotné školenie bude pravdepodobne trvať týždne, ak nie mesiace.
V aktualizácii svojho prístupu k bezpečnosti zverejnenej po Summite AI v Soule OpenAI uviedla: „Nevydáme nový model, ak prekročí hranicu „stredného“ rizika z nášho rámca pripravenosti, kým nezavedieme dostatočné bezpečnostné zásahy na uvedenie príspevku. -skóre zmiernenia späť na „stredné“.
Uvádza, že do červeného teamingu bolo zapojených viac ako 70 externých odborníkov GPT-4o pred jeho vydaním.
S 90 dňami, kým komisia predloží svoje zistenia predstavenstvu, len nedávno začal s tréningom a odhodlaním k rozsiahlemu červenému teamingu, vyzerá to tak, že sme museli dlho čakať, kým konečne dostaneme GPT-5.