Een zogeheten ‘policy token’ zal scraping door de grootste AI-modelbouwers tegengaan. Deze standaard binnen het bestaande robots.txt krijgt de steun van OpenAI, Google, Microsoft en Anthropic.
Tot nu toe moesten uitgevers per AI-bedrijf een anti-scraping-standaard adopteren. Kevin Kelley, Technical Lead for standaarden bij Anthropic, heeft de standaard voorgesteld. Het is weliswaar geen officiële IETF-standaard, maar zal tegen volgend jaar op de steun rekenen van de meest vooraanstaande westerse AI-bedrijven. Uitgevers voegen voor de adoptie hiervan een aparte groep toe aan hun robots.txt, te weten met de user-agent __usage_ai-training en een Disallow-regel. Uitzonderingen voor specifieke mappen blijven mogelijk om de scraping op verfijnde wijze te controleren.
Tot nu toe stelden sites hun voorkeuren per crawler in. Wie OpenAI bijvoorbeeld wilde weren, blokkeerde GPTBot. Voor Google gold weer een andere token en bij Anthropic was ClaudeBot de te weren bot. Met de gedeelde token is dat niet meer nodig. De vier bedrijven zeggen dat hun AI-crawlers een site overslaan zodra ze de token tegenkomen.
Meta, de grootste speler die niet in het rijtje van vier adopters staat, steunt het initiatief, maar zegt niet of het de token ook gaat respecteren. “Wij geloven dat een gemeenschappelijk signaal dat zulke voorkeuren in één keer aan meerdere aanbieders doorgeeft een belangrijke stap is”, liet Head of Communications Andy Stone weten.
Training of grounding
Er zal nog altijd verschil zijn tussen de implementaties van de AI-bedrijven. Zo biedt Microsoft uitgevers meer keuze. Zij kunnen apart aangeven of ze uit AI-training of uit AI-‘grounding’ stappen. Bij grounding verwijst een AI-model naar een geverifieerde bron om hallucinaties te beperken; dit kan helpen om traffic te genereren vanuit AI-antwoorden zonder dat de bron voor training is gebruikt. Ongeacht de keuze van de uitgever blijven sites zichtbaar in Bing. Google bood eerder al vergelijkbare opties die geen gevolgen hebben voor de zoekresultaten, ook al is het verkeer naar internetbronnen om meerdere redenen gekelderd de afgelopen jaren, met AI als gedeeltelijke boosdoener.
Overigens voert niet iedereen de token even snel in. Anthropic ondersteunt de standaard al, maar Google en Microsoft volgen volgend jaar. OpenAI noemt geen datum en suggereert dat het ergens in de komende maanden de standaard overneemt.
Nog altijd vrijwillig
Uitgevers kunnen hoe dan ook de scraping tegengaan. Robots.txt is altijd een vrijwillig mechanisme geweest. Google wilde het decennia oude protocol al eerder tot internetstandaard maken. Crawlers kunnen echter de instructies negeren. Dat bleek eens te meer toen Cloudflare Perplexity ervan te beschuldigen dat het de crawllimieten omzeilde. Ook de druk op websites groeit. Wikimedia zag zijn bandbreedte met 50 procent stijgen door AI-crawlers, zonder dat mensen de informatie vanuit deze bron zagen.
Andere partijen hebben hard ingegrepen om hun verkeer te beperken. Cloudflare introduceerde eerder een functie om AI-scrapers te blokkeren en weert ze inmiddels vanuit een opt-in. Met Bot Preference Sync zet het bedrijf voorkeuren voor search, AI-input en AI-training bovendien om naar robots.txt. Met de Really Simple Licensing-standaard (RSL) kunnen uitgevers crawlers juist laten betalen voor toegang, als één alternatief voor het puur blokkeren of toelaten van scraping.
Lees ook: Cloudflare introduceert botdetectie die gehele browsersessie analyseert