Met AI Audit krijgen websites tools in handen om data scraping bots te monitoren en eventueel te blokkeren. Scraping wordt gebruikt om data van websites te verzamelen en die vervolgens aan een AI-model te voeden.
Cloudflare geeft aan dat elke soort website met data scraping te maken kan krijgen. Of het nu een commerciële organisatie, nieuwssite of kleine persoonlijke website betreft: content kan duizenden keren per dag gescand worden zonder dat de website-eigenaar hiervan op de hoogte is. Bots hebben deze content nodig om AI-modellen te trainen en zo hun prestaties te verbeteren. De contentmakers worden echter vaak niet gecompenseerd, terwijl hun content wel waarde vertegenwoordigt.
AI Audit biedt meer controle over data scraping bots. Het doel is om te komen tot een transparante uitwisseling van data, waarbij zowel de websites als de AI-modellen waarde kunnen halen uit de data die voor training wordt gebruikt.
“AI evolueert snel en veel website-eigenaren hebben tijd nodig om te begrijpen en analyseren hoe AI-bots hun verkeer of bedrijf beïnvloeden. Veel kleine websites hebben niet de middelen of kennis om AI-bots handmatig te blokkeren. De mogelijkheid om alle AI-bots met één klik te blokkeren, geeft contentmakers weer controle”, aldus Cloudflare over de gratis tools.
Statistieken
Website-eigenaren kunnen direct analyses inzien om te begrijpen waarom, wanneer en hoe vaak AI-modellen hun content raadplegen. Deze analyses maken ook onderscheid tussen verschillende bots. Zo kan een bot bijvoorbeeld tekst genereren en daarbij netjes verwijzen naar de bron, terwijl andere bots juist scrapen zonder credits te geven.
Daarnaast ondersteunt Cloudflare bij onderhandelingen met modelleveranciers. Steeds meer websites sluiten overeenkomsten met deze leveranciers om vergoedingen te ontvangen voor het trainen van hun AI-modellen. Het AI Audit-tabblad voorziet in bruikbare informatie voor deze onderhandelingen, zoals een tarief voor het scrapen van volledige pagina’s.
Tip: Cloudflare lanceert zero-trust tool voor veilig browsen