Google wil dat zijn decennia oude Robots Exclusion Protocol een internetstandaard wordt
Google wil dat zijn decennia oude Robots Exclusion Protocol (REP) gecertificeerd wordt als een officiële internetstandaard. Om dat mogelijk te maken, heeft het zijn robots.txt parser open source gemaakt. REP is een protocol dat website-eigenaren kunnen gebruiken om web crawlers en andere clients... Lees meer