Keď uvidíte mýtického Ouroborosa, je úplne logické pomyslieť si: „No, to nebude trvať.“ Silný symbol – prehĺtanie vlastného chvosta – ale v praxi náročný. Môže to byť aj prípad AI, ktorej podľa novej štúdie môže hroziť „kolaps modelu“ po niekoľkých kolách školenia na údajoch, ktoré sama vygenerovala.
V článku publikovanom v Nature britskí a kanadskí vedci pod vedením Iliu Shumailova z Oxfordu ukazujú, že dnešné modely strojového učenia sú náchylné na syndróm, ktorý nazývajú „kolaps modelu“. Ako píšu v úvode listu:
Zistili sme, že nerozlišujúce učenie sa z údajov vytvorených inými modelmi spôsobuje „kolaps modelu“ – degeneratívny proces, pri ktorom modely časom zabudnú na skutočnú základnú distribúciu údajov…
Ako sa to deje a prečo? Proces je v skutočnosti celkom ľahko pochopiteľný.
Modely AI sú vo svojej podstate systémy na porovnávanie vzorov: Učia sa vzory vo svojich tréningových údajoch, potom priraďujú výzvy k týmto vzorom a vypĺňajú najpravdepodobnejšie ďalšie bodky na riadku. Či už sa pýtate: „Aký je dobrý recept na snickerdoodle?“ alebo „Uveďte amerických prezidentov v poradí podľa veku pri inaugurácii,“ model v podstate len vracia najpravdepodobnejšie pokračovanie tejto série slov. (Je to iné pre generátory obrázkov, ale v mnohých ohľadoch podobné.)
Ide však o to, že modely smerujú k najbežnejšiemu výstupu. Neposkytne vám kontroverzný recept na snickerdoodle, ale ten najobľúbenejší, obyčajný. A ak požiadate generátor obrázkov, aby urobil obrázok psa, neposkytne vám vzácne plemeno, ktoré vo svojich tréningových údajoch videl iba dva obrázky; pravdepodobne dostanete zlatého retrievera alebo laboratória.
Teraz skombinujte tieto dve veci so skutočnosťou, že web je zahltený obsahom generovaným AI a že nové modely AI budú pravdepodobne prijímať a trénovať tento obsah. To znamená, že uvidia a veľa zo zlatých!
A akonáhle sa natrénovali na tomto šírení zlatých (alebo blogspamu uprostred cesty, alebo falošných tvárí alebo generovaných skladieb), je to ich nová základná pravda. Budú si myslieť, že 90% psov sú skutočne zlatí, a preto, keď budú požiadaní, aby vygenerovali psa, zvýšia podiel zlatých ešte vyššie – až v podstate stratia prehľad o tom, čo psy vôbec sú.
Táto nádherná ilustrácia zo sprievodného článku s komentárom Nature ukazuje proces vizuálne:
Podobná vec sa deje s jazykovými modelmi a inými, ktoré v podstate uprednostňujú najbežnejšie údaje vo svojom školiacom súbore pre odpovede – čo, aby bolo jasné, je zvyčajne správna vec. V skutočnosti to nie je problém, kým sa nestretne s oceánom kamarátov, ktorý je práve teraz verejným webom.
V zásade, ak budú modely naďalej jeden druhému požierať údaje, možno bez toho, aby o tom vôbec vedeli, postupne budú čudnejšie a hlúpejšie, až kým sa nezrútia. Výskumníci poskytujú množstvo príkladov a zmierňujúcich metód, ale idú tak ďaleko, že nazývajú kolaps modelu „nevyhnutným“, aspoň teoreticky.
Hoci sa to nemusí prejaviť tak, ako to ukazujú experimenty, ktoré vykonali, táto možnosť by mala vystrašiť každého v priestore AI. Rozmanitosť a hĺbka tréningových údajov sa čoraz viac považuje za najdôležitejší faktor kvality modelu. Ak vám dôjdu údaje, ale generovanie ďalších rizík sa zrúti, obmedzuje to zásadne dnešnú AI? Ak sa to začne diať, ako to budeme vedieť? A môžeme urobiť niečo, aby sme tomuto problému predišli alebo ho zmiernili?
Odpoveď na poslednú otázku je pravdepodobne áno, hoci to by nemalo zmierniť naše obavy.
Pomohli by kvalitatívne a kvantitatívne benchmarky získavania údajov a rôznorodosti, ale sme ďaleko od ich štandardizácie. Vodoznaky údajov generovaných AI by pomohli iným AI vyhnúť sa tomu, ale zatiaľ nikto nenašiel vhodný spôsob, ako označiť snímky týmto spôsobom (dobre… urobil som).
V skutočnosti môžu byť spoločnosti odrádzané od zdieľania tohto druhu informácií a namiesto toho hromadia všetky hyperhodnotné pôvodné a ľuďmi vytvorené údaje, ktoré môžu, pričom si ponechávajú to, čo Shumailov a kol. nazvať ich „výhodou prvého ťahu“.
(Kolaps modelu) musíme brať vážne, ak chceme udržať výhody školenia z rozsiahlych údajov zoškrabaných z webu. Hodnota zhromaždených údajov o skutočných ľudských interakciách so systémami bude skutočne čoraz cennejšia v prítomnosti obsahu generovaného LLM v údajoch prehľadávaných z internetu.
… (I) Môže byť čoraz ťažšie trénovať novšie verzie LLM bez prístupu k údajom, ktoré boli prehľadávané z internetu pred masovým prijatím technológie alebo priameho prístupu k údajom generovaným ľuďmi vo veľkom rozsahu.
Pridajte to k hromade potenciálne katastrofických výziev pre modely AI – a argumentov proti dnešným metódam produkujúcim superinteligenciu zajtrajška.
