Undrar vilka faktorer det är som påverkar hur ofta en webbsida crawlas (eller uppdateras.. antar att det är samma sak?) av t.ex. spindlarna från Google eller Yahoo?
Trodde först att det var pagerank som avgjorde hur ofta en sida besöktes av spindlarna från Google, men det kanske beror mer på hur ofta en sida uppdateras?
En sida med pagerank 1 som uppdateras ofta kanske får fler besök än en sida med t.ex. pagerank 2 som inte uppdateras lika ofta?
Eller är jag helt ute och cyklar?
Dessutom när man länkar från en indexerad huvudsida vidare till undersidor, indexeras dessa i sin tur när spindeln kommer till huvudsidan?
Hur långt "ner" i hierarkin kan spindlarna gå om man fortsätter länka vidare i sin tur?
Tack för ett bra forum!