Vorig jaar heeft Google open source de code voor de robots.txt parser gebruikt in zijn productiesystemen. Nadat de community er tools mee heeft zien bouwen en hun eigen bijdragen aan de open source bibliotheek heeft toegevoegd, inclusief de taalpoorten van de originele parser geschreven in C++ naar golang en roest, heeft Google deze week aangekondigd dat het additionele gerelateerde broncode projecten heeft vrijgegeven.
C++ en Java.
Voor iedereen die zijn eigen parser schrijft of Google’s parser in C++ (een supersnelle gecompileerde taal) overneemt, heeft Google de broncode voor zijn robots.txt parser validatietestframework vrijgegeven dat wordt gebruikt om te verzekeren dat de resultaten van de parser voldoen aan de officiële robots.txt-specificatie zoals verwacht, en het kan parsers die in een groot aantal andere talen zijn geschreven, valideren.
Daarnaast heeft Google een officiële poort naar de meer populaire Java-taal vrijgegeven. Moderne Java wordt meer gebruikt in bedrijfstoepassingen dan C++, terwijl C++ meer gebruikt wordt in kernsysteemtoepassingen waar de prestaties dat vereisen. Sommige op Java gebaseerde codebases draaien vandaag de dag applicaties voor enterprise SEO en of marketing software.
Testen en valideren
Testen en valideren. Eisen voor het uitvoeren van het testframework zijn onder andere JDK 1.7+ voor Apache Maven, en Google’s protocolbuffer om het testframework te koppelen aan jouw parserplatform en ontwikkelingswerkstation. Het zou nuttig moeten zijn voor iedereen die zijn eigen parser ontwikkelt, een poort valideert, of gebruik maakt van een van de officiële parsers van Google, en vooral voor het valideren van jouw ontwikkeling van een poort naar een nieuwe taal.
Hoe moeilijk zou dit zijn om te gebruiken?
Het gaat hier om relatief laagdrempelige intern geleide projecten bij Google, die door programmeurs van een gematigd tot hoog niveau in een of meer van deze talen zouden moeten kunnen worden gebruikt. Je kunt een robots.txt parser bouwen met behulp van vrijwel elke programmeertaal. Het voegt echter een zekere autoriteit toe wanneer jouw marketingapplicatie exact dezelfde parser draait als die van Googlebot.
Waarom wij ons zorgen maken
Als jij, of jouw bedrijf, plannen heeft om te schrijven of een crawler heeft geschreven die robots.txt bestanden voor richtlijnen op zoek naar belangrijke informatie (niet alleen) voor SEO, dan geeft dit je een stimulans om te evalueren of het gebruik van Google’s parser in C++, Java, of een van de andere taal havens de moeite waard is. Vooral de Java-parser moet relatief eenvoudig te gebruiken zijn als jouw applicatie al in Java is geschreven.