Cloudflare heeft een nieuwe functie aangekondigd waarmee websites automatisch in Markdown-formaat kunnen worden aangeboden aan AI-agents. Met Markdown for Agents speelt het bedrijf in op de groeiende rol van AI-systemen die webcontent verwerken voor zoekmachines, samenvattingen en analyses.
De oplossing moet het voor AI-agents eenvoudiger en efficiënter maken om informatie van websites te lezen zonder dat website-eigenaren hun content hoeven aan te passen.
De kern is dat Cloudflare webpagina’s aan de edge kan omzetten van HTML naar Markdown wanneer een client daarom vraagt. Dat gebeurt via een HTTP Accept-header met de waarde text/markdown. Wanneer een AI-agent deze header meestuurt, converteert Cloudflare de HTML-pagina realtime naar Markdown en stuurt die terug. Voor reguliere bezoekers blijft de HTML-weergave ongewijzigd.
Volgens Cloudflare is Markdown beter geschikt voor AI-verwerking dan HTML. HTML bevat vaak veel extra code voor styling, scripts en layout, terwijl Markdown een schonere en semantisch duidelijkere representatie van de inhoud biedt. Dat betekent minder ruis voor taalmodellen en andere systemen die tekst analyseren, met efficiëntere verwerking en mogelijk lagere compute-kosten als gevolg.
Forse tokenbesparing
De tokenbesparing kan aanzienlijk zijn. The Register rekende op basis van Cloudflare-voorbeelden voor dat een eenvoudige kop in Markdown ongeveer drie tokens kost, terwijl de HTML-variant al snel twaalf tot vijftien tokens verbruikt, nog zonder extra markup zoals div-elementen, navigatiebalken en scripts. Voor een volledige blogpost van Cloudflare zelf zou het verschil nog groter zijn. Volgens The Register daalt het aantal tokens van 16.180 in HTML naar 3.150 in Markdown, een reductie van circa 80 procent. Dat is relevant voor AI-diensten die werken met beperkte contextvensters en tokengebaseerde kostenmodellen.
Wanneer een website-eigenaar Markdown for Agents inschakelt, voegt Cloudflare naast de Markdown-respons een extra header toe met de naam x-markdown-tokens. Daarin staat het berekende aantal tokens van de geretourneerde content. Dat helpt AI-agents te bepalen of een document binnen het beschikbare contextvenster past of moet worden opgesplitst.
Geen aparte Markdown-versies nodig
De functionaliteit geldt voor HTML-pagina’s en niet voor andere documentformaten zoals pdf-bestanden. De conversie vindt plaats binnen het Cloudflare-netwerk, waardoor uitgevers geen aparte Markdown-versies hoeven te beheren. Daarmee positioneert het bedrijf zich als infrastructuurleverancier voor een internet waarin niet alleen menselijke bezoekers, maar ook AI-agents een belangrijke doelgroep vormen.
De stap is opvallend omdat Cloudflare eerder mechanismen introduceerde om AI-crawlers te laten betalen voor toegang tot content. Waar het bedrijf zich profileerde als partij die uitgevers beschermt tegen scraping, biedt het nu een manier om geautomatiseerde toegang efficiënter te maken. Volgens The Register vragen codeeragents zoals Claude Code en OpenCode in hun Accept-headers al expliciet om Markdown, wat aangeeft dat de vraag aanwezig is.
Markdown for Agents sluit aan op de eerder geïntroduceerde Content Signals Policy. Daarmee kunnen uitgevers via robots.txt aangeven of hun content mag worden gebruikt voor AI-training, AI-zoektoepassingen of AI-input na training, bijvoorbeeld voor retrieval augmented generation. Net als robots.txt zijn deze signalen vrijwillig en niet afdwingbaar, maar ze bieden een gestandaardiseerde manier om gebruiksvoorkeuren te communiceren.
Met Markdown for Agents zet Cloudflare een volgende stap in het aanpassen van internetinfrastructuur aan de opkomst van AI-verkeer. Waar HTML decennialang de standaard was voor browsers, ontstaat nu een parallelle laag die is geoptimaliseerd voor machinelezers en de economische realiteit van tokengebaseerde AI-modellen.