Yahoo! Slurp...

[David Nilsson]

Fått ett par felmeddelande att Yahoos/Slurp vill komma åt följande sidor:
/SlurpConfirm404/fipfedbco/Crypt/q8fb.htm
/SlurpConfirm404/Web/wopcomadt.htm
/SlurpConfirm404/News_Story_Buttons_Action.htm
/SlurpConfirm404/SURREAL/MessyKoRn.htm
/SlurpConfirm404/pyre/gal.htm

Mfl...

Vet nån varför och vad det handlar om?

[Nikke Lindqvist]

Det är det fler som har undrat:

http://www.google.se/search?q=SlurpConfirm404

Tydligen finns svaret att hitta hos Yahoo som enligt
http://help.yahoo.com/help/us/ysearc.../slurp-10.html
besöker slumpmässigt felaktiga urlar på din sajt för att avgöra huruvida du ger tillbaka en 200 OK som server header eller en 404 not found.
Kanske ger din sajt olika svar på olika ställen?

[Hjalmar]

Det är väl för att spindeln inte skall fastna på automatiskt genererat content..

[David Nilsson]

Tack Nikke!
Lite jobbigt iom att man hårdgranskar sina felloggar.