Javascript - Webbspindlar som hanterar javascript
Hej!
Många av er har säkert hört att javascript-konstruerade URL:er är dåligt eftersom webbspindlar inte hanterar dessa och därför inte kan leta upp alla undersidor på sajten.
Här är en lista med userAgent strängar från spindlar som faktiskt visst hanterar detta. Jag har själv samlat in datan och garanterar att detta stämmer.
Tilläggas bör att det är väldigt troligt att de större sökmotorernas spindlar som saknas i listan INTE hanterar javascript.
Först dom stora drakarna; google, yahoo och msn:
Kod:
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
msnbot/1.0 (+http://search.msn.com/msnbot.htm)
msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
Jag har även registrerat dessa spindlar, som jag redovisar i sammanhanget. Men de är mindre relevanta:
Kod:
findlinks/1.1.3-beta9 (+http://wortschatz.uni-leipzig.de/findlinks/)
Shim-Crawler(Mozilla-compatible; http://www.logos.ic.i.u-tokyo.ac.jp/crawler/; [email protected])
findlinks/1.1.4-beta1 (+http://wortschatz.uni-leipzig.de/findlinks/)
SUNET WWW Index check program
proodleBot (www.proodle.com)
Jyxobot/1
CJNetworkQuality; http://www.cj.com/networkquality
Mozilla/4.0 compatible ZyBorg/1.0 ([email protected]; http://www.WISEnutbot.com)
Pingdom GIGRIB v1.1 (http://www.pingdom.com)
<a href='http://www.netforex.org'> Forex Trading Network Organization </a> [email protected]
ia_archiver
Gigabot/2.0 (http://www.gigablast.com/spider.html)
Hoppas detta är till nytta för någon.
