FAST heeft haar
showcase op AllTheWeb.com.
FAST Search is in mei '99 van start gegaan, heeft met spider FAST het
grootste aantal documenten geïndexeerd en voorziet grote portals van zoekcapaciteit
waaronder sites van Terra Lycos, Lycos Europe,
T-Online (DE) & Tiscali.
Google is gebaseerd
op de resultaten van spider Googlebot
en behoort tot de grootsten gezien het aantal geïndexeerde pagina's en
populariteit. Google voorziet zo'n 80 zoekmachines, directories en portaal
sites van zoekcapaciteit waaronder Yahoo
en Netscape Search.
Inktomi voorzag in
eerste instantie HotBot van zoekcapaciteit.
Ondertussen voorziet Inktomi meer dan 125 webpartners van zoekcapaciteit
waaronder behalve Hotbot ook AOL,
Excite, Chello,
GoTo, MSN
Search en LookSmart. URL's
kunnen alleen via één van de webpartners aangemeld worden, waarna Inktomi's
spider Slurp
een bezoek aan de site brengt. De kans dat dat gebeurt is ook heel groot
zonder dat een site aangemeld wordt!
MSN is wereldwijd één van de meest bezochte portalen. De zoekmachine MSN
Search haalt primaire resultaten uit de directory van LookSmart.
Secundaire resultaten komen uit de database van Inktomi.
MSN Search waardeert en ordent deze resultaten door middel van eigen algoritmen
daartoe en heeft op die manier als zoekmachine toch een eigen 'identiteit'.
Aanmelding
zoekmachines
Bij de meeste zoekmachines duurt het een tijdje voordat je site aan de
beurt is om geïndexeerd te worden; de wachttijd kan soms oplopen tot enkele
maanden.
Sommige search engines doorlopen vervolgens niet direct alle onderliggende pagina's van de index van je website. Hotbot en Ilse bijvoorbeeld zeggen dit pas na enige tijd te doen. Het is dan zaak alle (belangrijke) pagina's apart aan te melden. Daarom kun je als je 1 search engine aanvinkt in het aanmeldformulier ruim 25 URL's per keer aanmelden bij de gewenste zoekmachine. Veel zoekmachines werken echter met een limiet; Hotbot b.v. kent een maximum van 20 aanmeldingen per domein per dag en MSN Search hanteert zelfs een limiet van 1 URL per site per dag.
Is je site eenmaal opgenomen in een zoek-index dan is het in de regel niet nodig gewijzigde en/of vervallen pagina's aan te melden. Spiders keren regelmatig terug om hun database te actualiseren. Hierbij worden niet gevonden pagina's verwijderd en nieuwe pagina's toegevoegd. De frequentie waarmee dit gebeurt verschilt per engine.
Zoekmachine
optimalisatie basics
Search engines
werken met bepaalde algoritmen om pagina's te indexeren, te waarderen
en te ordenen op relevantie m.b.t. zoekwoorden. De systematiek die hierbij
aangehouden wordt verschilt per engine. Wel zijn er algemene punten te
noemen die belangrijk zijn voor een juiste indexering; m.a.w. die een
pagina zoekmachine vriendelijk maken. Je kan deze punten zelf doorvoeren maar je kan je website ook laten optimaliseren door PROSEO zoekmachine optimalisatie.
Titel van de
pagina
Erg belangrijk; wordt door iedere search engine geïndexeerd en wordt nagenoeg
altijd vetafgedrukt getoond in de zoekresultaten.
<html>
<head>
<title>Verwerk zoveel mogelijk keywords in de titel</title>
</head>
<body>
Description META
TAG: Beschrijving van de pagina
Wordt niet gebruikt door FAST & Google.
<head>
<meta name="description" content="Verwerk zoveel mogelijk keywords
in de beschrijving">
</head>
KEYWORDS
META TAG: Lijst met trefwoorden
Keywords altijd scheiden door een komma en een spatie. Wordt niet gebruikt
door FAST & Google.
<meta name="keywords" content="gebruik, tot, maximaal, 20, keywords">
De inhoud van
je pagina
Speelt een heel belangrijke rol; alle zoekmachines indexeren op de inhoud
in de body van je pagina.
- Zorg dat de gebruikte keywords en woorden uit de titel ook terugkeren in de teksten.
- Sommige search engines kijken vooral ook naar koppen en subkoppen tussen tags als <H3>, <H4>, etc. in de teksten op je pagina.
- Een heleboel search engines kijkt daarentegen ook naar zogenaamd onzichtbare tekst (zelfde kleur als achtergrond) en/of naar heel veel kleine tekst om dit vervolgens af te straffen. FAST & Vindex doen dit niet.
- Een aantal engines zoekt ook naar afbeeldingen, video's en andere media en volgt URL's in het SRC attribuut.
- De ALT property. Gebruik ook hier zoekwoorden. Google b.v. indexeert deze.
- Inktomi b.v. indexeert ook op <!--comments-->.
De URL van je
pagina
Zowel http://www.tennis.nl/ als http://www.sport.nl/tennis/tennis.html
worden gevonden met het zoekwoord tennis. Wordt
o.a. gebruikt door Inktomi, Google & Ilse.
Het gebruik van frames
Sommige spiders hebben geen frame support. Als je gebruik maakt van frames dan is het belangrijk om de NOFRAMES tag toe te voegen. Hiertussen plaats je inhoud en/of links naar de pagina's die in de frameset staan.
<frameset>
<frame src="menu.html">
<frame src="main.html">
</frameset>
<noframes>
<body>
<a href="menu.html">menu</a>
<a href="main.html">main</a>
</body>
</noframes>
Robot
Exclusion
Om ervoor te zorgen dat u aan kunt geven welke pagina's wel en niet geïndexeerd
mogen worden zijn er standaards ontwikkeld voor spiders. Ten eerste is
er het Robots
Exclusion Protocol dat uitgaat van instructies in een tekstbestand
in de root van de namespace van een (virtuele) webserver, dus: http://www.domeinnaam.nl/robots.txt.
#Laat ALLE robots NIETS indexeren
User-agent: *
Disallow: /
#Laat ALLE robots ALLES indexeren
User-agent: *
Disallow:
#robots.txt for http://www.domeinnaam.nl/
User-agent: *
Disallow: /temp
#indexeer niets dat begint met /temp; dus NIET /temp/index.html en NIET
/temp.html
Disallow: /temp/
#indexeer niets dat begint met /temp/; dus NIET /temp/index.html, maar
WEL /temp.html
Als je geen toegang hebt tot de root van de namespace van de server, maar een site hebt met een URL als: http://www.domeinnaam.nl/~gebruiker/ dan kun je als alternatief gebruik maken van de Robots META tag die ondersteund wordt door nagenoeg alle spiders. Door middel hiervan kunt u aangeven of een spider de pagina al dan niet moet indexeren (INDEX/NOINDEX). En of een spider de links op de pagina al dan niet dient te volgen (FOLLOW,NOFOLLOW). Zo zijn er onderstaande mogelijkheden:
<meta name="ROBOTS" content="INDEX,FOLLOW"><meta name="ROBOTS" content="NOINDEX,FOLLOW">
<meta name="ROBOTS" content="INDEX,NOFOLLOW">
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW">
Hierbij kan "INDEX,FOLLOW" ook geschreven worden als "ALL" en "NOINDEX,NOFOLLOW" als "NONE". De meeste robots gaan standaard uit van INDEX,FOLLOW. Inktomi bijvoorbeeld niet; die gaat uit van INDEX,NOFOLLOW.
