Google opent de source voor zijn robots.txt parser in Java en testframework in C++.
Vorig jaar heeft Google open source de code voor de robots.txt parser gebruikt in zijn productiesystemen. Nadat de community er tools mee heeft zien bouwen en hun eigen bijdragen aan de open source bibliotheek heeft toegevoegd, inclusief de taalpoorten van…