V samostatnej analýze vykonanej tento týždeň, dátový novinár Ben Welsh zistil, že o niečo viac ako štvrtina spravodajských webov, ktoré skúmal (294 z 1 167 publikácií prevažne v anglickom jazyku v USA), blokuje Applebot-Extended. Na porovnanie, Welsh zistil, že 53 percent spravodajských webov v jeho vzorke blokuje robota OpenAI. Google minulý rok v septembri predstavil svojho vlastného robota špecifického pre AI, Google-Extended; je blokovaný takmer 43 percentami týchto stránok, čo je znakom toho, že Applebot-Extended môže byť stále pod radarom. Ako hovorí Welsh pre WIRED, číslo sa však „postupne posúva“ nahor, odkedy začal hľadať.
waleský má prebiehajúci projekt sledovanie toho, ako spravodajské médiá pristupujú k hlavným agentom AI. „Medzi vydavateľmi správ sa objavila rozpora, či chcú alebo nechcú blokovať týchto robotov,“ hovorí. „Neviem odpovedať na otázku, prečo sa každá spravodajská organizácia rozhodla. Je zrejmé, že môžeme čítať o mnohých z nich, ktorí uzatvárajú licenčné zmluvy, kde sú platení výmenou za vpustenie robotov – možno aj to je faktor.“
Minulý rok The New York Times nahlásené že Apple sa pokúšal uzavrieť dohody o AI s vydavateľmi. Odvtedy majú konkurenti ako OpenAI a Perplexity oznámil partnerstvá s rôznymi spravodajskými servermi, sociálnymi platformami a inými populárnymi webovými stránkami. „Mnoho najväčších vydavateľov na svete jednoznačne zaujalo strategický prístup,“ hovorí zakladateľ umelej inteligencie Originality Jon Gillham. „Myslím si, že v niektorých prípadoch ide o obchodnú stratégiu – napríklad zadržiavanie údajov, kým nebude uzavretá dohoda o partnerstve.“
Existujú dôkazy podporujúce Gillhamovu teóriu. Napríklad webové stránky Condé Nast používali na blokovanie webových prehľadávačov OpenAI. Po spoločnosti oznámili partnerstvo s OpenAI minulý týždeň odblokovala roboty spoločnosti. (Condé Nast odmietla komentovať záznam tohto príbehu.) Medzitým hovorkyňa Buzzfeed Juliana Clifton pre WIRED povedala, že spoločnosť, ktorá v súčasnosti blokuje Applebot-Extended, zaraďuje každého robota na prehľadávanie webu s umelou inteligenciou, ktorého dokáže identifikovať, do zoznamu blokovaných, pokiaľ nie je jeho vlastníkom. uzavrela partnerstvo – zvyčajne platené – so spoločnosťou, ktorá vlastní aj Huffington Post.
Keďže súbor robots.txt je potrebné upravovať manuálne a debutuje toľko nových agentov AI, môže byť ťažké udržiavať aktuálny zoznam blokov. „Ľudia jednoducho nevedia, čo majú blokovať,“ hovorí zakladateľ Dark Visitors Gavin King. Dark Visitors ponúka službu freemium, ktorá automaticky aktualizuje súbor robots.txt na klientskej stránke a King hovorí, že vydavatelia tvoria veľkú časť jeho klientov kvôli obavám o autorské práva.
Robots.txt sa môže zdať ako tajomné územie webmasterov – ale vzhľadom na jeho obrovský význam pre digitálnych vydavateľov vo veku AI je teraz doménou mediálnych manažérov. WIRED sa dozvedel, že dvaja generálni riaditelia z veľkých mediálnych spoločností priamo rozhodujú o tom, ktorých robotov zablokovať.
Niektoré predajne výslovne uviedli, že blokujú nástroje na zoškrabovanie AI, pretože v súčasnosti nemajú partnerstvo so svojimi vlastníkmi. „Applebot-Extended blokujeme vo všetkých vlastnostiach Vox Media, ako sme to urobili s mnohými inými nástrojmi na zoškrabovanie AI, keď nemáme komerčnú dohodu s druhou stranou,“ hovorí Lauren Starke, senior viceprezidentka Vox Media. komunikácie. „Veríme v ochranu hodnoty našej publikovanej práce.“
