Home Umela inteligencia Tento týždeň v AI: OpenAI sa vzďaľuje od bezpečia

Tento týždeň v AI: OpenAI sa vzďaľuje od bezpečia

by matus.kaukal@gmail.com
SAN FRANCISCO, CALIFORNIA - NOVEMBER 06: OpenAI CEO Sam Altman speaks during the OpenAI DevDay event on November 06, 2023 in San Francisco, California. Altman delivered the keynote address at the first ever Open AI DevDay conference. (Photo by Justin Sullivan/Getty Images)

Držať krok s tak rýchlo sa rozvíjajúcim odvetvím ako je AI je vysoký poriadok. Takže kým to za vás neurobí AI, tu je praktický súhrn nedávnych príbehov zo sveta strojového učenia spolu s pozoruhodným výskumom a experimentmi, ktoré sme sami nepokryli.

Mimochodom, TechCrunch plánuje čoskoro spustiť newsletter AI. Zostaňte naladení. Medzitým zvyšujeme kadenciu nášho polopravidelného stĺpca AI, ktorý bol predtým dvakrát za mesiac (alebo tak), na týždenný – takže hľadajte ďalšie vydania.

Tento týždeň v oblasti AI OpenAI opäť dominovala spravodajskému cyklu (napriek maximálnemu úsiliu Google) s uvedením produktu na trh, ale aj s niektorými palácovými intrigami. Spoločnosť predstavila GPT-4o, svoj doteraz najschopnejší generatívny model, a len o niekoľko dní neskôr účinne rozpustila tím pracujúci na probléme vývoja ovládacích prvkov, aby sa zabránilo „superinteligentným“ systémom AI v nečestných veciach.

Rozloženie tímu predvídateľne vygenerovalo množstvo titulkov. nahlasovanie — vrátane nášho — naznačuje, že OpenAI uprednostnila bezpečnostný výskum tímu v prospech uvedenia nových produktov, ako je napríklad vyššie uvedený GPT-4o, čo v konečnom dôsledku viedlo k výpoveď z dvoch spoluvedúcich tímu, Jana Leikeho a spoluzakladateľa OpenAI Ilju Sutskevera.

Superinteligentná AI je v tomto bode viac teoretická ako skutočná; nie je jasné, kedy – alebo či – technický priemysel dosiahne prelomy potrebné na vytvorenie AI schopnej splniť akúkoľvek úlohu, ktorú človek dokáže. Zdá sa však, že spravodajstvo z tohto týždňa potvrdzuje jednu vec: že vedenie OpenAI – najmä generálny riaditeľ Sam Altman – sa čoraz viac rozhodlo uprednostňovať produkty pred ochrannými opatreniami.

Altman údajne „rozzúrenýSutskever tým, že sa ponáhľal so spustením funkcií poháňaných AI na prvej vývojárskej konferencii OpenAI v novembri minulého roka. A on je povedal, že bol kritická voči Helen Tonerovej, riaditeľke Centra pre bezpečnosť a vznikajúce technológie v Georgetowne a bývalej členke predstavenstva OpenAI, v dokumente, ktorý spoluautorka vrhla na prístup OpenAI k bezpečnosti do kritického svetla – až do bodu, keď sa ju pokúsil vytlačiť doska.

Za posledný rok alebo tak nechala OpenAI ukladať chatbotom zaplniť spamom a (údajne) skopírované údaje zo služby YouTube proti zmluvným podmienkam platformy a zároveň vyjadruje ambície nechať svoju AI generovať zobrazenia porno a gore. Zdá sa, že bezpečnosť v spoločnosti ustúpila do úzadia – a rastúci počet výskumníkov v oblasti bezpečnosti OpenAI dospel k záveru, že ich prácu by bolo lepšie podporovať inde.

Tu je niekoľko ďalších významných príbehov AI z posledných dní:

  • OpenAI + Reddit: V ďalších novinkách OpenAI spoločnosť dosiahla dohodu s Redditom o použití údajov sociálnej stránky na školenie modelov AI. Wall Street privítala dohodu s otvorenou náručou – ale používatelia Redditu nemusia byť tak spokojní.
  • AI spoločnosti Google: Google tento týždeň usporiadal svoju výročnú I/O vývojársku konferenciu, počas ktorej debutoval tonu produktov AI. Zaokrúhlili sme ich tuod výsledkov Veo, ktoré generuje video, cez výsledky organizované AI vo Vyhľadávaní Google až po inovácie aplikácií chatbotov Gemini od Googlu.
  • Antropický najíma Kriegera: Mike Krieger, jeden zo spoluzakladateľov Instagramu a nedávno aj spoluzakladateľ personalizovanej spravodajskej aplikácie Artefakt (ktorú spoločnosť TechCrunch, spoločnosť Yahoo, nedávno získala), sa pripája k Anthropic ako prvý produktový riaditeľ spoločnosti. Bude dohliadať na spotrebiteľské aj podnikové úsilie spoločnosti.
  • AI pre deti: Spoločnosť Anthropic minulý týždeň oznámila, že začne vývojárom umožňovať vytvárať aplikácie a nástroje zamerané na deti postavené na jej modeloch AI – za predpokladu, že budú dodržiavať určité pravidlá. Predovšetkým súperi ako Google zakazujú zabudovanie ich AI do aplikácií zameraných na mladšie vekové kategórie.
  • Na filmovom festivale: Startup AI Runway usporiadal začiatkom tohto mesiaca svoj druhý filmový festival AI. Jedlo so sebou? Niektoré z najsilnejších momentov vo výkladnej skrini nepochádzajú z AI, ale z ľudskejších prvkov.

Viac strojového učenia

Bezpečnosť AI je tento týždeň očividne na prvom mieste s odchodmi OpenAI, ale Google Deepmind ide ďalej s novým „rámcom bezpečnosti na hraniciach“. V podstate je to stratégia organizácie na identifikáciu a dúfajme, že predchádzanie akýmkoľvek únikovým schopnostiam – nemusí to byť AGI, môže to byť generátor škodlivého softvéru, ktorý sa zbláznil alebo podobne.

Poďakovanie za obrázok: Google Deepmind

Rámec má tri kroky: 1. Identifikujte potenciálne škodlivé schopnosti v modeli simulovaním jeho ciest vývoja. 2. Pravidelne vyhodnocujte modely, aby ste zistili, kedy dosiahli známe „kritické úrovne schopností“. 3. Aplikujte plán na zmiernenie, aby ste zabránili exfiltrácii (iným alebo samotným) alebo problematickému nasadeniu. Tu je viac detailov. Môže to znieť ako zrejmá séria akcií, ale je dôležité ich formalizovať, inak to každý len tak oháňa. Takto získate zlú AI.

Pomerne iné riziko identifikovali výskumníci z Cambridge, ktorí sa oprávnene obávajú šírenia chatbotov, ktoré človek trénuje na dátach mŕtvej osoby, aby poskytli povrchnú simulaku tejto osoby. Možno sa vám (ako mne) zdá celý koncept trochu odporný, ale ak budeme opatrní, mohol by sa použiť pri zvládaní smútku a iných scenároch. Problém je, že si nedávame pozor.

Poďakovanie za obrázok: Cambridge University / T. Hollánek

„Táto oblasť AI je etickým mínovým poľom,“ povedala vedúca výskumníčka Katarzyna Nowaczyk-Basińska. „Teraz musíme začať premýšľať o tom, ako zmierniť sociálne a psychologické riziká digitálnej nesmrteľnosti, pretože táto technológia je už tu.“ Tím identifikuje množstvo podvodov, potenciálne zlé a dobré výsledky a všeobecne diskutuje o koncepte (vrátane falošných služieb) v článok publikovaný v časopise Philosophy & Technology. Black Mirror opäť predpovedá budúcnosť!

V menej strašidelných aplikáciách AI, fyzici na MIT sa pozerajú na užitočný (pre nich) nástroj na predpovedanie fázy alebo stavu fyzického systému, zvyčajne ide o štatistickú úlohu, ktorá môže byť pri zložitejších systémoch obtiažna. Ale natrénovaním modelu strojového učenia na správnych údajoch a jeho uzemnením s niektorými známymi materiálovými charakteristikami systému máte oveľa efektívnejší spôsob, ako na to ísť. Len ďalší príklad toho, ako ML nachádza medzery aj v pokročilej vede.

V CU Boulder hovoria o tom, ako možno AI použiť pri riadení katastrof. Táto technológia môže byť užitočná na rýchle predpovedanie toho, kde budú potrebné zdroje, zmapovanie škôd, dokonca aj na pomoc pri výcviku respondentov, ale ľudia (pochopiteľne) váhajú, či ju použiť v scenároch života a smrti.

Účastníci workshopu.
Poďakovanie za obrázok: S balvanom

Profesor Amir Behzadan sa snaží posunúť loptu vpred a hovorí: „Umelá inteligencia zameraná na človeka vedie k efektívnejšej reakcii na katastrofy a postupom obnovy podporou spolupráce, porozumenia a inkluzívnosti medzi členmi tímu, preživšími a zainteresovanými stranami.“ Stále sú vo fáze workshopu, ale je dôležité, aby ste si to dôkladne premysleli predtým, ako sa pokúsite napríklad zautomatizovať distribúciu pomoci po hurikáne.

Nakoniec niekoľko zaujímavých prác z Disney Research, ktorá sa zamerala na to, ako diverzifikovať výstup modelov generovania difúznych obrázkov, ktoré môžu pri niektorých výzvach produkovať podobné výsledky znova a znova. Ich riešenie? „Naša stratégia vzorkovania žíha signál kondicionovania pridaním plánovaného, ​​monotónne klesajúceho gaussovského šumu do vektora kondicionovania počas odvodzovania, aby sa vyvážila diverzita a zarovnanie podmienok.“ Sám by som to jednoducho nevedel vyjadriť lepšie.

Poďakovanie za obrázok: Výskum Disney

Výsledkom je oveľa širšia rozmanitosť uhlov, nastavení a celkového vzhľadu obrazových výstupov. Niekedy to chceš, niekedy nie, ale je pekné mať tú možnosť.

Source Link

Related Posts

Leave a Comment