Aktualizácia: Kalifornský výbor pre rozpočtové prostriedky schválil vo štvrtok 15. augusta SB 1047 s významnými dodatkami, ktoré menia návrh zákona. Môžete prečítajte si o nich tu.
Okrem sci-fi filmov neexistuje precedens pre systémy umelej inteligencie, ktoré by zabíjali ľudí alebo boli používané pri masívnych kybernetických útokoch. Niektorí zákonodarcovia však chcú zaviesť záruky skôr, ako zlí herci premenia túto dystopickú budúcnosť na realitu. Kalifornský zákon, známy ako SB 1047, sa snaží zastaviť katastrofy v reálnom svete spôsobené systémami AI skôr, ako sa stanú. V auguste prešiel štátnym senátom a teraz čaká na schválenie alebo veto od guvernéra Kalifornie Gavina Newsoma.
Aj keď to vyzerá ako cieľ, na ktorom sa všetci zhodneme, SB 1047 vzbudil hnev veľkých i malých hráčov zo Silicon Valley, vrátane rizikových kapitalistov, veľkých technologických obchodných skupín, výskumníkov a zakladateľov startupov. Po krajine práve lieta veľa účtov za AI, ale kalifornský zákon o bezpečných a bezpečných inováciách pre hraničné modely umelej inteligencie sa stal jedným z najkontroverznejších. Tu je dôvod.
Čo by urobil SB 1047?
SB 1047 sa snaží zabrániť tomu, aby sa veľké modely AI používali na spôsobenie „kritických škôd“ ľudstvu.
Návrh zákona uvádza príklady „kritických škôd“, keď zlý herec používa model AI na vytvorenie zbrane, ktorá vedie k masovým obetiam, alebo nariaďuje jednému organizovať kybernetický útok, ktorý spôsobí škody za viac ako 500 miliónov dolárov (pre porovnanie, výpadok CrowdStrike je odhadnutý spôsobili viac ako 5 miliárd dolárov). Návrh zákona robí vývojárov – to znamená spoločnosti, ktoré vyvíjajú modely – zodpovednými za implementáciu dostatočných bezpečnostných protokolov, aby sa zabránilo takýmto výsledkom.
Aké modely a spoločnosti podliehajú týmto pravidlám?
Pravidlá SB 1047 by sa vzťahovali len na najväčšie modely AI na svete: tie, ktoré stoja najmenej 100 miliónov dolárov a používajú 10^26 FLOPS počas tréningu – obrovské množstvo výpočtov, ale generálny riaditeľ OpenAI Sam Altman povedal GPT-4 stojí približne toľko trénovať. Tieto prahové hodnoty by sa mohli podľa potreby zvýšiť.
Len veľmi málo spoločností dnes vyvinulo verejné produkty AI dostatočne veľké na to, aby splnili tieto požiadavky, ale technologickí giganti ako OpenAI, Google a Microsoft to pravdepodobne čoskoro urobia. Modely AI – v podstate masívne štatistické nástroje, ktoré identifikujú a predpovedajú vzory v údajoch – sa vo všeobecnosti stali presnejšie, keď sa zväčšili, čo je trend, ktorý mnohí očakávajú, že bude pokračovať. Mark Zuckerberg nedávno povedal, že budúca generácia Meta’s Llama bude vyžadujú 10x viac výpočtovčo by ho zaradilo pod právomoc SB 1047.
Pokiaľ ide o modely s otvoreným zdrojovým kódom a ich deriváty, návrh zákona určil, že je zodpovedný pôvodný vývojár, pokiaľ iný vývojár neminie ďalších 10 miliónov dolárov na vytvorenie derivátu pôvodného modelu.
Návrh zákona tiež vyžaduje bezpečnostný protokol, aby sa zabránilo zneužitiu krytých produktov AI, vrátane tlačidla „núdzového zastavenia“, ktoré vypne celý model AI. Vývojári musia tiež vytvoriť testovacie postupy, ktoré riešia riziká, ktoré predstavujú modely AI, a musia si každoročne najať audítorov tretích strán, aby posúdili ich bezpečnostné postupy AI.
Výsledkom musí byť „primeraná záruka“, že dodržiavanie týchto protokolov zabráni kritickým škodám – nie absolútnu istotu, ktorú samozrejme nie je možné poskytnúť.
Kto by to presadil a ako?
Na pravidlá by dohliadala nová kalifornská agentúra Board of Frontier Models. Každý nový verejný model AI, ktorý spĺňa prahové hodnoty SB 1047, musí byť individuálne certifikovaný s písomnou kópiou jeho bezpečnostného protokolu.
Board of Frontier Models by bol riadený deviatimi ľuďmi vrátane zástupcov z odvetvia AI, komunity s otvoreným zdrojom a akademickej obce, ktorých by menoval guvernér Kalifornie a zákonodarný zbor. Rada bude radiť kalifornskému generálnemu prokurátorovi o možnom porušení SB 1047 a vydá pokyny pre vývojárov modelov AI o bezpečnostných postupoch.
Hlavný technologický riaditeľ vývojára musí predstavenstvu predložiť ročnú certifikáciu, v ktorej posúdi potenciálne riziká jeho modelu AI, ako efektívny je jeho bezpečnostný protokol a popis toho, ako spoločnosť dodržiava SB 1047. Podobne ako pri oznámeniach o porušení, ak „bezpečnostný incident AI“ “, vývojár to musí nahlásiť FMD do 72 hodín od zistenia incidentu.
Ak sa bezpečnostné opatrenia vývojára zistia ako nedostatočné, SB 1047 umožňuje generálnemu prokurátorovi Kalifornie vydať príkaz proti vývojárovi. To by mohlo znamenať, že vývojár by musel prestať prevádzkovať alebo trénovať svoj model.
Ak sa skutočne zistí, že model AI bol použitý pri katastrofickej udalosti, generálny prokurátor Kalifornie môže spoločnosť žalovať. V prípade modelu, ktorý stojí 100 miliónov dolárov na výcvik, môžu pokuty dosiahnuť až 10 miliónov dolárov za prvé porušenie a 30 miliónov dolárov za ďalšie porušenia. Táto trestná sadzba sa zväčšuje, keď sú modely AI drahšie.
Napokon, návrh zákona zahŕňa ochranu oznamovateľov pre zamestnancov, ak sa pokúsia zverejniť informácie o nebezpečnom modeli AI generálnemu prokurátorovi Kalifornie.
Čo hovoria zástancovia?
Senátor štátu Kalifornia Scott Wiener, ktorý je autorom návrhu zákona a zastupuje San Francisco, pre TechCrunch hovorí, že SB 1047 je pokusom poučiť sa z minulých zlyhaní politík v oblasti sociálnych médií a ochrany osobných údajov a chrániť občanov skôr, než bude príliš neskoro.
„Máme históriu s technológiou čakania, kým sa nestanú škody, a potom si lomíme rukami,“ povedal Wiener. „Nečakajme, že sa stane niečo zlé. Poďme pred tým.“
Aj keď spoločnosť vycvičí model v hodnote 100 miliónov dolárov v Texase alebo vo Francúzsku, bude sa naň vzťahovať SB 1047, pokiaľ bude podnikať v Kalifornii. Wiener hovorí, že Kongres urobil „za posledné štvrťstoročie pozoruhodne málo právnych predpisov v oblasti technológií“, takže si myslí, že je na Kalifornii, aby tu vytvorila precedens.
Na otázku, či sa stretol s OpenAI a Meta na SB 1047, Wiener povedal: „Stretli sme sa so všetkými veľkými laboratóriami“.
Dvaja výskumníci AI, ktorí sú niekedy nazývaní „krstnými otcami AI“, Geoffrey Hinton a Yoshua Bengio, podporili tento zákon. Títo dvaja patria do frakcie komunity AI, ktorá sa obáva nebezpečných scenárov súdneho dňa, ktoré by technológia AI mohla spôsobiť. Títo “AI doomers” už nejaký čas existujú vo výskumnom svete a SB 1047 by mohol kodifikovať niektoré z ich preferovaných záruk do zákona. Ďalšia skupina sponzorujúca SB 1047, Centrum pre bezpečnosť AI, napísala an otvorený list v máji 2023 žiadať svet, aby uprednostnil „zmierňovanie rizika vyhynutia v dôsledku AI“ tak vážne, ako sú pandémie alebo jadrová vojna.
„Je to v dlhodobom záujme priemyslu v Kalifornii a USA vo všeobecnosti, pretože veľký bezpečnostný incident by bol pravdepodobne najväčšou prekážkou na ceste k ďalšiemu napredovaniu,“ uviedol riaditeľ Centra pre bezpečnosť AI Dan Hendrycks. TechCrunch.
V poslednej dobe to boli Hendrycksove vlastné motivácie spochybnil. V júli verejne spustil startup Grey Swan, ktorý buduje „nástroje, ktoré pomáhajú spoločnostiam hodnotiť riziká ich systémov AI“. tlačová správa. Po kritike, ktorú by startup Hendrycks mohol získať, ak návrh zákona prejde, potenciálne ako jeden z audítorov SB 1047 vyžaduje, aby si vývojári najali, odpredal svoj majetkový podiel v Sivá labuť.
„Predal som sa, aby som vyslal jasný signál,“ uviedol Hendrycks v e-maile pre TechCrunch. „Ak chce opozícia miliardárov VC proti bezpečnosti AI so zdravým rozumom ukázať, že ich motívy sú čisté, nech ich nasleduje.“
Potom, čo bolo do SB 1047 pridaných niekoľko pozmeňujúcich a doplňujúcich návrhov od Anthropic, generálny riaditeľ Dario Amodei vydal list povedal, že „výhody zákona pravdepodobne prevažujú nad jeho nákladmi“. Nie je to podpora, ale je to vlažný signál podpory. Krátko na to, Elon Musk naznačil, že je za návrh zákona.
Čo hovoria oponenti?
Rastúci zbor hráčov zo Silicon Valley je proti SB 1047.
Hendrycksova „miliardárska VC opozícia“ pravdepodobne odkazuje na a16z, rizikovú firmu založenú Marcom Andreessenom a Benom Horowitzom, ktorá sa ostro postavila proti SB 1047. Začiatkom augusta predložil hlavný právny riaditeľ rizikovej firmy Jaikumar Ramaswamy list senátorovi Wienerovi, ktorý tvrdí, že návrh zákona „zaťaží startupy z dôvodu svojvoľných a posúvajúcich sa prahových hodnôt“, čím spôsobí mrazivý efekt na ekosystém AI. Ako sa technológia AI napreduje, bude drahšia, čo znamená, že viac startupov prekročí hranicu 100 miliónov dolárov a bude sa na ne vzťahovať SB 1047; a16z hovorí, že niekoľko ich startupov už dostáva toľko za tréningové modely.
Fei-Fei Li, často nazývaná krstnou matkou AI, prelomila svoje mlčanie na SB 1047 začiatkom augusta, keď napísala Stĺpec šťastia že návrh zákona „poškodí náš začínajúci ekosystém umelej inteligencie“. Zatiaľ čo Li je uznávanou priekopníčkou vo výskume AI zo Stanfordu, údajne tiež vytvorila Startup AI s názvom World Labs v apríli v hodnote jednej miliardy dolárov a podporenej spoločnosťou a16z.
Pripája sa k vplyvným akademikom v oblasti AI, ako je kolega zo Stanfordu Andrew Ng, ktorý počas prejavu na podujatí Y Combinator v júli nazval návrh zákona „útokom na open source“. Modely s otvoreným zdrojovým kódom môžu svojim tvorcom predstavovať dodatočné riziko, pretože ako každý otvorený softvér sa ľahšie upravujú a nasadzujú na svojvoľné a potenciálne škodlivé účely.
Hlavný vedec spoločnosti Meta, Yann LeCun, povedal, že SB 1047 poškodí výskumné úsilie a je založený na „ilúzii „existenčného rizika“, ktorú presadila hŕstka klamných think-tankov. príspevok na X. Llama LLM spoločnosti Meta je jedným z popredných príkladov LLM s otvoreným zdrojom.
Z účtu nie sú nadšené ani startupy. Jeremy Nixon, generálny riaditeľ AI startup Omniscience a zakladateľ AGI House SF, centra pre AI startupy v San Franciscu, sa obáva, že SB 1047 rozdrví jeho ekosystém. Tvrdí, že za spôsobenie kritických škôd by mali byť potrestaní zlí herci, nie laboratóriá AI, ktoré otvorene vyvíjajú a distribuujú technológiu.
„V centre návrhu zákona je hlboký zmätok, že LLM sa môžu nejakým spôsobom líšiť v úrovni ich nebezpečných schopností,“ povedal Nixon. „Podľa mňa je viac než pravdepodobné, že všetky modely majú nebezpečné schopnosti, ako ich definuje zákon.“
OpenAI proti SB 1047 koncom augusta s tým, že opatrenia národnej bezpečnosti súvisiace s modelmi AI by mali byť regulované na federálnej úrovni. Majú podporil federálny návrh zákona to by tak urobilo.
Ale Big Tech, na ktorý sa návrh zákona priamo zameriava, má paniku aj z SB 1047. Pokroková komora — obchodná skupina zastupujúca Google, Apple, Amazon a ďalších veľkých technologických gigantov — vydala oznámenie otvorený list proti návrhu zákona SB 1047 obmedzuje slobodu prejavu a „vytláča technologické inovácie z Kalifornie“. Minulý rok generálny riaditeľ spoločnosti Google Sundar Pichai a ďalší technickí manažéri podporil myšlienku federálnej regulácie AI.
Americký kongresman Ro Khanna, ktorý zastupuje Silicon Valley, vydal a vyhlásenie proti SB 1047 v auguste. Vyjadril obavy, že návrh zákona „by bol neúčinný, trestal by individuálnych podnikateľov a malé podniky a poškodil by kalifornského ducha inovácie“. Odvtedy sa k nemu pripojil rečník Nancy Pelosiová a Obchodná komora Spojených štátov amerických, ktorí tiež uviedli, že návrh zákona poškodí inovácie.
Silicon Valley sa tradične nepáči, keď Kalifornia nastavuje takú širokú technologickú reguláciu. V roku 2019 Big Tech vytiahol podobnú kartu, keď iný štátny účet za súkromieKalifornský zákon o ochrane osobných údajov spotrebiteľov tiež hrozil, že zmení technologické prostredie. Silicon Valley loboval proti tomuto návrhu zákonaa mesiace predtým, ako vstúpila do platnosti, zakladateľ Amazonu Jeff Bezos a 50 ďalších vedúcich pracovníkov napísal otvorený list, v ktorom žiadal federálny zákon o ochrane súkromia namiesto toho.
Čo sa stane ďalej?
SB 1047 v súčasnosti sedí na stole kalifornského guvernéra Gavina Newsoma, kde sa nakoniec rozhodne, či zákon podpíše do konca augusta. Wiener hovorí, že s Newsom o návrhu zákona nehovoril a nepozná svoju pozíciu.
Tento návrh zákona by nenadobudol účinnosť okamžite, pretože Rada pre hraničné modely sa má sformovať v roku 2026. Okrem toho, ak návrh zákona prejde, je veľmi pravdepodobné, že dovtedy bude čeliť právnym námietkam, možno od niektorých z tých istých skupín, teraz o tom hovoriť.
Oprava: Tento príbeh pôvodne odkazoval na predchádzajúci návrh jazyka SB 1047 o tom, kto je zodpovedný za vyladené modely. V súčasnosti SB 1047 hovorí, že vývojár odvodeného modelu je zodpovedný za model iba vtedy, ak minie na školenie trikrát toľko ako pôvodný vývojár modelu.
