Veľké jazykové modely, ako je GPT-4o, môžu vykonávať neuveriteľne zložité úlohy, ale aj tie najlepšie modely zápasia s niektorými základnými problémami uvažovania, ktoré deti dokážu vyriešiť.
V rozhovore pre CBS „krstný otec AI“, Geoffrey Hinton, povedal, že systémy AI môžu byť inteligentnejšie, než vieme, a existuje šanca, že by ich mohli prevziať stroje.
Keď sa Hinton spýtal na úroveň súčasnej technológie AI, povedal: „Myslím si, že sa dostávame do obdobia, keď po prvý raz môžeme mať veci inteligentnejšie ako my.“
Vedúci umelej inteligencie spoločnosti Meta, Yann LeCun, nás prinúti veriť, že sme veľmi ďaleko od toho, aby sme videli, ako AI dosahuje inteligenciu na úrovni psov.
Tak čo to je?
Tento týždeň používatelia na X zverejnili príklady neuveriteľnej kódovacej schopnosti Anthropic’s Nový Claude Model exponáty. Iní uskutočnili experimenty, aby zdôraznili, ako modely AI stále zápasia s veľmi základným uvažovaním.
Puzzle prechod cez rieku
Klasická skladačka s prechodom cez rieku má viacero variácií, ale Verzia Wikipedie zhrnie to takto:
Farmár s vlkom, kozou a kapustou musí preplávať rieku loďou. Loď môže prepravovať iba farmára a jeden predmet. Keby zostali bez dozoru spolu, vlk by zjedol kozu alebo koza by zjedla kapustu. Ako môžu prejsť cez rieku bez toho, aby niečo zjedli?
Hľadanie riešenia si vyžaduje určité základné plánovanie a uvažovanie o rôznych scenároch, ale nie je to zvlášť náročný problém na vyriešenie. Ak si človek.
Dokáže to vyriešiť GPT-4o? Ak skopírujete a vložíte hádanku do ChatGPT, dostanete správnu odpoveď, ale táto stránka Wikipédie bola takmer určite v jej tréningových údajoch.
Čo keby sme urobili hádanku oveľa jednoduchšou a mierne ju zmenili, aby sa LLM nemohla spoľahnúť na svoje tréningové údaje?
Britský profesor matematiky Sir William Timothy Gowers ukázal, ako sa dá ľahko odhaliť neschopnosť LLM aplikovať logiku.
Správna odpoveď na hádanku je, že je potrebná iba jedna cesta. Zdá sa však, že ChatGPT sa snaží zapamätať si odpoveď, a nie jednoducho premýšľať o hádanke.
Je Claude Sonnet 3.5 o niečo lepší?
Experiment Meta Data Scientist Colina Frasera potvrdzuje, že túto jednoduchú hádanku nedokáže vyriešiť ani popredný model AI, ktorý je momentálne k dispozícii.
Claude stále nedokáže vyriešiť nemožný problém jeden farmár jedna ovca jedna loď pic.twitter.com/TU13wermLZ
— Colin Fraser (@colin_fraser) 20. júna 2024
Pre dátového vedca z Meta mohlo byť trochu neúprimné neukázať svoje výsledky pomocou Llama 3.
Spýtal som sa Meta AI rovnakú otázku a tiež sa to úplne mýli.
Yann LeCun vysvetlil dôvod týchto výsledkov slovami: „Problémom je, že LLM nemajú zdravý rozum, nerozumejú svetu a nemajú schopnosť plánovať (a uvažovať).
Je to pravda, alebo je v hre niečo iné?
To, čo by tieto interakcie mohli odhaliť, nie je nedostatok schopnosti uvažovania, ale skôr to, do akej miery je výstup LLM ovplyvnený jeho tréningovými údajmi. Odpoveď Meta AI, ktorá to nazýva „klasickou hádankou“, naznačuje, že to môže byť to, čo sa deje.
Variácie puzzle prechodu cez rieku často odkazujú na množstvo požadovaných „výletov“. Keď položíte hádanku bez použitia tohto slova, LLM to vyrieši.
Naozaj. Keď sa nezobrazí výzva na „výlety“, ktorá prináša spomienky na predchádzajúce riešenia toľkých podobných problémov, ale výzva „najrýchlejší možný spôsob“ spolu s COT, odpovie správne pic.twitter.com/E27vBv2y2R
— AnKo (@anko_979) 21. júna 2024
Tieto experimenty boli zaujímavé, ale neodpovedajú definitívne na argument o tom, či sú modely AI skutočne inteligentné alebo jednoducho prediktívne stroje ďalšieho tokenu.
Výsledky však zdôrazňujú, aké citlivé sú LLM na tréningové údaje. Keď GPT-4o ovládne skúšky LSAT, je to „premýšľanie“, aby ste našli odpovede na problémy alebo si ich zapamätali?
Kým inžinieri nepochopia, čo sa deje vo vnútri čiernych skriniek AI, ktoré vytvorili, argumenty na X budú naďalej nevyriešené.
