Hur ofta crawlas en webbsida?

Undrar vilka faktorer det är som påverkar hur ofta en webbsida crawlas (eller uppdateras.. antar att det är samma sak?) av t.ex. spindlarna från Google eller Yahoo?

Trodde först att det var pagerank som avgjorde hur ofta en sida besöktes av spindlarna från Google, men det kanske beror mer på hur ofta en sida uppdateras?
En sida med pagerank 1 som uppdateras ofta kanske får fler besök än en sida med t.ex. pagerank 2 som inte uppdateras lika ofta?
Eller är jag helt ute och cyklar? :)

Dessutom när man länkar från en indexerad huvudsida vidare till undersidor, indexeras dessa i sin tur när spindeln kommer till huvudsidan?
Hur långt "ner" i hierarkin kan spindlarna gå om man fortsätter länka vidare i sin tur?

Tack för ett bra forum!:rolleyes:

Tidigare diskussioner kring detta:

Undersökning: Googles besöksfrekvens & uppdatering av cache

Om Googla och Blogar

Uppdateringsfrekvens

Jag vet ju inte hur det påverkar spindlarna men det måste väl finnas en anledning till att denna taggen finns.

<meta name="revisit-after" content="14 days" />

Michael

Tack! Mycke bra info :rolleyes:

Som spagetti säger så kan man använda meta-taggar, men observera att om sidan inte uppdaterats inom dessa 14 dagar så kommer google tycka att taggen inte går att lita på och helt enkelt börja bestämma själv.

En statisk sida som aldrig uppdateras kan ibland få vänta 1-2 månader, längre än 2 har jag inte råkat ut för men möjligheten finns väl antar jag.

Om man installerar Google Webmaster Tools på webbplatsen får man statistik på hur många byte Google hämtar per dag. Där kan man även till viss del styra om man vill att Google ska ta det lite lugnare för att spara bandbredd.

Webmaster tool tänkte jag installera, men sen såg att mitt webhotell har statistik på hur ofta spindlarna kommer. Normalt använder jag statcounter för annan statistik men även det ingick. Mycket smidigt !

Nu är inte jag expert på spindlar, men logiken säger att olika hemsidor blir upptäckta olika mycket. Detta på grund av att alla har olika inlänkar som pekar emot dig. När den väl har hittat din sida så säger min logik också att när den väl har hittat till din sida så är det en fördel om den då känner av en uppdatering.

Hej.
Kolla och läs tidigare i tråden så får du mycket vettiga svar.
Magnus