Vielleicht haben einige von euch mal bemerkt, das in der User Online-Anzeige (auf der Startseite), immer wieder bis zu 15 Gäste gleichzeitig online sind. Und das mehrmals täglich.

Leider sind das keine Gäste. Das sind multiple Ausführungen (mit verschiedenen IPs) eines penetranten und saumässig schlecht programmierten Webcrawlers, Namens Yahoo! Slurp.

Selbst die von Yahoo angegebene Funktion zur Zügelung des wildgewordenen Bots half nichts. Vermutlich hat er ein Eigenleben entwickelt und ist von Yahoo nicht mehr unter Kontrolle zu bekommen.

Die Crawls und der damit verbundene Traffic des Slurp steht in absolut keinem Verhältnis zum Marktanteil der Websuche von Yahoo. Und: Wer surft denn schon Yahoo an, wenn er im Web etwas finden will?

Google macht es wieder einmal vor. Der lustige Bot grast hier mehrmals täglich in nur einer Instanz, manchmal auch zwei, maximal aber drei. Und weil es der wichtigste und mächtigste Bot und Webcrawler ist, hab ich ihm schon damals gleich einen speziellen Member-Zugang verschafft.

Aber hier gehts ja um den Yahoo! Slurp. Den hab ich nun komplett ausgesperrt. Mal schauen ob es fruchtet. Falls nicht, dann werde ich die IP-Range die er benutzt für den Server komplett sperren.

Übrigens bin ich nicht der einzige, der irgendwann einmal so genervt ist vom Yahoo! Slurp, das er sagt: Jetzt ist Schluss!

Tja, liebe Verantwortlichen von Yahoo (auch wenns mit Sicherheit keiner von ihnen hier liest). So programmiert man keinen Webcrawler. Das ging dann wohl eindeutig nach hinten los. Und zwar nicht nur bei mir!

yahoo slurp nervt

Grüssle,
PoMan