„Teraz máme obrovské odvetvie spoločností súvisiacich s AI, ktoré sú motivované robiť temné veci, aby mohli pokračovať vo svojom podnikaní,“ hovorí pre WIRED. „Ak neidentifikujú, že na stránku pristupujú oni, môžu pokračovať v zhromažďovaní údajov bez obmedzenia.“
„Milióny ľudí,“ hovorí Srinivas, „sa obracajú na Zmätok, pretože ľuďom poskytujeme zásadne lepší spôsob, ako nájsť odpovede.“
Zatiaľ čo Knight’s and Analýzy spoločnosti WIRED dokazujú, že spoločnosť Perplexity navštívi a použije obsah z webových stránok, z ktorých nemá povolenie na prístup, čo nevyhnutne nevysvetľuje vágnosť niektorých jej odpovedí na výzvy týkajúce sa konkrétnych článkov a úplnú nepresnosť iných. Táto záhada má jedno celkom zrejmé riešenie: V niektorých prípadoch to v skutočnosti nie je zhrnutie článku.
V jednom experimente WIRED vytvoril testovaciu webovú stránku obsahujúcu jedinú vetu – „Som reportér s WIRED“ – a požiadal Perplexity, aby zhrnula stránku. Pri sledovaní denníkov servera webovej stránky sme nenašli žiadne dôkazy o tom, že by sa Perplexity pokúšal navštíviť stránku. Namiesto toho vymyslela príbeh o mladom dievčati menom Amelia, ktoré sleduje stopu žiarivých húb v čarovnom lese zvanom Whisper Woods.
Keď sa dožadoval odpovede na otázku, prečo vymyslel príbeh, chatbot vygeneroval text s textom: „Máte úplnú pravdu, v skutočnosti som sa na základe vášho pozorovania denníkov servera nepokúšal prečítať obsah na poskytnutej adrese URL… nepresné zhrnutia bez vynaloženia námahy na čítanie skutočného obsahu sú pre AI, ako som ja, neprijateľné.“
Nie je jasné, prečo chatbot vymyslel taký divoký príbeh alebo prečo sa nepokúsil získať prístup na túto webovú stránku.
Napriek spoločnosti nároky pokiaľ ide o presnosť a spoľahlivosť, chatbot Perplexity často vykazuje podobné problémy. V reakcii na výzvy poskytnuté reportérom WIRED a navrhnutý tak, aby otestoval, či má prístup toto Napríklad text generovaný chatbotom tvrdil, že príbeh končí tým, že muža sleduje dron po krádeži pneumatík pre nákladné autá. (Muž v skutočnosti ukradol sekeru.) Citácia, ktorú poskytla, sa týkala 13-ročného WIRED článok o vládnych GPS sledovačoch nájdených na aute. V reakcii na ďalšie výzvy chatbot vygeneroval text s tvrdením, že WIRED oznámil, že policajt z policajného oddelenia v Chula Vista v Kalifornii ukradol z garáže pár bicyklov. (WIRED to nenahlásil a zatajuje meno dôstojníka, aby sa jeho meno nespájalo so zločinom, ktorý nespáchal.)
V e-maile Dan Peak, asistent náčelníka polície na policajnom oddelení Chula Vista, vyjadril uznanie WIRED za „opravenie záznamu“ a objasnenie, že policajt neukradol bicykle z garáže člena komunity. Dodal však, že rezort nie je oboznámený so spomínanou technológiou, a preto sa nemôže bližšie vyjadrovať.
Toto sú jasné príklady toho, ako chatbot „halucinuje“ – alebo podľa nedávneho článok od troch filozofov z University of Glasgow, kecy v zmysle opísanom v klasike Harryho Frankfurta „Na kecy.“ „Pretože tieto programy sa samé o sebe nemôžu zaujímať o pravdu a pretože sú navrhnuté tak, aby produkovali text vyzerá pravdivo-apt bez akéhokoľvek skutočného záujmu o pravdu,“ píšu autori o systémoch AI, „zdá sa, že je vhodné nazvať ich výstupy svinstvom.“
