Undersökning: Googles besöksfrekvens & uppdatering av cache

[whyld]

Är nu färdig med min undersökning och är redo för kritik.

Googles besöksfrekvens & uppdatering av cache
Besöker och cachar Google sidor oftare om sidan uppdateras/förändras oftare?


INTRODUKTION
Vad går undersökningen ut på?
Denna undersökning utgår från teorin att Google oftare besöker och uppdaterar cachen för sidor som förändras/uppdateras.

För att göra testet har jag använt en redan etablerad sida där jag med hjälp av slumpen försökt simulera en förstasida som uppdateras ofta.
Undersökningen har delats upp i fem faser som sammanlagt sträcker sig över 103 dagar.

Att tänka på när man läser denna rapport är att undersökningen endast gäller Googles besök, indexering och uppdatering av cachen för förstasidan.

Huvudfråga: Besöker och cachar Google sidor oftare om sidan uppdateras/förändras oftare?

Delfråga: Har tidstämpeln i en webbplatskarta någon inverkan på hur ofta Google besöker och cachar förstasida.

Hur fungerar Googles cachefunktion?
För att kontrollera när en sida senast besöktes av Google samt när Googles cache av en sida uppdaterades kan man göra en cache:-sökning på Google.

Exempel:
Sök på frasen cache:www . domännamn.com för att kontrollera förstasidan.
För att göra en sökning på en specifik undersida kan du göra en sökning på t ex cache:www . domännamn.com/sida1.htm

Då får då se den cachade versionen av sidan samt det datum och tid då sidan cachades, t ex 23 dec 2006 02:10:42 GMT.

Senaste besök kan även kontrolleras i Googles Verktyg för webbansvariga (inklusive webbplatskartor) (http://www.google.com/webmasters/sitemaps/).

Enligt Vanessa Fox på Google, cachas en sida varje gång Google varit på besök, och om sidan om sidan förändrats sedan den tidigare cachen. Dock uppdateras datumet för när sidan senast besöktes varje gång Google varit besök oavsett om sidan föreändrats eller ej (läs mer på http://googlewebmastercentral.blogsp...ooglebot.html).

För att Google ska bedöma att en sida inte uppdaterats ska servern svara med 304 (Not modified) http://www.google.com/support/webmas...y?answer=40203. Detta är något som framförallt används för att spara bandbredd. I denna undersökning använder jag mig inte av 304 (Not modified).

Vad har betydelse för hur ofta Google kommer på besök?
Det pågår diskutioner kring vad det är som får Google att ofta komma på besök till en sida. Inga diskussioner ger några tydliga och säkra svar, men det som diskuteras och som i dessa diskussioner anses vara en viktig faktor för att få Google att komma på besök samt cacha en sida ofta är bl a:

1. Antal inlänkar till en sida.

2. Inkommande länkar med, i Googles ögon, högt förtroende (Trust).

3. PageRank på sidan.

4. Att sidan förändras och uppdateras. I denna punkt ingår även diskussion om huruvida stor en förändring ska vara samt hur ofta man bör uppdatera en sida.



TILLVÄGAGÅNGSSÄTT
Testet utfördes på förstasida på en etablerad sajt (funnits i ca 1 år).
Innan testet påbörjades besökte Google förstasidan samt uppdaterades Googles cache av förstasidan med 5-7 dagars mellanrum. Själv uppdaterade jag förstasidan en gång i månaden. Ser man på sajten i sin helhet uppdateras undersidor och nya sidor läggs till så gott som varje dag, samt besökte Google diverse undersidor varje dag.

Förstasidan har i starskedet PageRank 0 (hade tidigare PagRank 3, men har ännu inte helt återhämtat sig efter ett domänbyte med 301-redirect) och i slutskedet PageRank 4.
Antalet inkommande länkar och de inkommande länkarnas förtroende (Trust) under den tid undersökningen gjorts har inte förändrats nämnvärt.

För att simulera att förstasidan på sajten uppdaterades ofta, implementerade jag ett PHP-script som varje gång sidan besöktes slumpade fram en HTML-sida utifrån tio olika förstasidemallar. Detta innebär att varje gång förstasidan besöktes av människor såväl som sökmotorer, slumpades en HTML-sida fram utifrån dessa tio mallar.
Tanken med detta var att varje gång Googles sökrobot kom på besök till förstasidan skulle sökroboten möta en förändrad sida (med en risk på 10 % att det ändå skulle bli samma sida som tidigare som slumpades fram – dock bedömde jag den risk som i längden irrelevant för Google syn på sidan).

Nämnas bör också att förändringen som gjorts (implementeringen av det PHP-scrip som slumpar fram en ny förstasida) inte gjorts för sökmotorernas skull, utan för besökarnas skull. Tidigare har fyra utvalda produkter/kategorier marknadsförts på förstasidan, men med den nu framslumpade förstasidan marknadsförs olika produkter/kategorier beroende på vilken sida som dyker upp. Förändringen har alltså framförallt en uppgift att förändra upplevelsen av förstasidan för besökaren.

På sajten använder jag sedan tidigare en webbplatskarta (Google sitemaps) som visar en tidstämpel och talar om för Google när sidan senast uppdaterades. Vikten av en uppdaterad tidstämpel för förstasidan testades i samband med denna undersökning.

Faserna
I Fas 1 fortsatte jag använda webbplatskarten, tillsammans med den framslumpade förstasidan. Webbplatskartans tidstämpel uppdaterades en gång per dag och förstasidan förändrades vid varje besök. Både förstasidan och tidstämpeln talade om för Google att sidan var uppdaterad.
Fas 1 sträcker sig från dag 1-15.

I Fas 2 använde jag webbplatskartan, tillsammans med den framslumpade förstasidan, men denna gång lät jag tidstämpeln i webbplatskartan stå oförändrad. Webbplatskartans tidstämpel uppdaterades inte, medan förstasidan fortfarande förändrades.
Förstasidan talade om för Google att sidan förändrats, men webbplatskartan talade om för Google att förstasidan inte förändrats.
Fas 2 sträcker sig från dag 16-30.

I Fas 3 tog jag helt bort webbplatskartan och använde mig enbart av den slumpade förstasidan.
Det enda som talade om för Google att förstasidan förändrats var sidans â€�utseendeâ€�.
Förstasidan förändras vid varje besök.
Fas 3 sträcker sig från dag 31-45.

I Fas 4 tog jag bort den framslumpade förstasidan och ersatte den med en statisk sida.
Ingen webbplatskarta använd.
Google möter vid varje besök en oförändrad sida.
Fas 4 sträcker sig från dag 46-88.

I Fas 5 återinför jag den framslumpade förstasidan.
Ingen webbplatskarta använd.
Det enda som talade om för Google att förstasidan förändrats var sidans â€�utseendeâ€�.
Förstasidan förändras vid varje besök.
Fas 5 sträcker sig från dag 89-103.

Fas 0
Dessa fem faser jämför jag även med vad jag kallar Fas 0. Fas 0 är utgångspunkten och tiden innan PHP-scriptet implementerades och testerna påbörjades.



RESULTAT
Fas 0 (Oförändrad förstasida + Webbplatskarta)
Datum: -4 december 2006
Förstasidan genomgår en förändring en gång i månaden och tidstämpeln i webbplatskartan uppdateras 1-2 gånger i månaden.
Under Fas 0 besöker Google och uppdaterar cachen för förstasidan på sajten med 5-7 dagars mellanrum.

Fas 1 (Förändrad förstasida + Förändrad webbplatskarta)
Datum: 3 - 17 december 2006
Förstasidan genomgår en förändring varje gång sidan besöks och webbplatskartan uppdateras en gång per dag.

Under Fas 1 besöker Google och uppdaterar cachen för förstasidan med 3 dagars mellanrum.
Tiden mellan Googles besök och uppdatering av cachen av förstasidan har alltså krympt.

Fas 1 säger alltså oss att Google gillar att besöka och cacha den numera till synes väluppdaterade förstasida bättre än den mer sällan uppdaterade förstasidan (Fas 0).

I Fas 1 kan jag dock inte avgöra om det är förändringen av förstasidan (den framslumpade sidan) som gett upphov till att Google kommer på besök och cachar sidan oftare, eller om det är den förändrade tidstämpeln som ger upphov till detta.

Fas 2 (Förändrad förstasida + Oförändrad webbplatskarta)
Datum: 18 december 2006 - 1 januari 2007
Förstasidan genomgår en förändring varje gång sidan besöks medan webbplatskartan aldrig uppdateras. Webbplatskartans tidstämpel står still på 17 december 2006.

Under Fas 2 besöker Google och uppdaterar cachen för förstasidan på sajten med 1-3 dagars mellanrum. Tiden mellan uppdateringen har alltså sjunkit ytterligare efter Fas 1, trots att tidstämpeln i webbplatskartan talar om för Google att sidan inte förändrats sedan 17 december 2006.

Fas 2 säger oss att Google uppskattar den numera till synes väluppdaterade förstasida och att obetydlig eller ingen hänsyn tas till tidstämpeln i webbplatskartan (sidan räknas som uppdaterad trots att webbplatskartan hävdar motsatsen).

I Fas 2 drar jag slutsatsen att Google ser förändringarna på förstasidan som en uppdatering och därmed anser det vara av värde att på nytt cacha och uppdatera sitt index för förstasidan på sajten. Den framslumpade förstasidan verkar alltså vara av värde inte bara för besökarna, utan även för den som vill få sin sida besökt och cachad av Google oftare.

Utifrån Fas 2 kan man även anta att om man tar bort webbplatskartan helt men låter den framslumpade förstasidan vara kvar, bör detta göra att Google antingen fortsätter att besöka och cacha förstasidan i samma takt eller till och med besöker och cachar sidan oftare (om nu tidstämpeln i webbplatskartan gett någon effekt under Fas 2 så är det en negativ effekt). Detta kommer vi att få svar på i Fas 3.

Fas 3 (Förändrad förstasida + Ingen webbplatskarta)
Datum: 1 - 15 januari 2007
Förstasidan genomgår en förändring varje gång sidan besöks. Någon webbplatskarta används ej.

Under Fas 3 besöker Google och uppdaterar cachen för förstasidan med 1-3 dagars mellanrum. Tiden mellan uppdateringarna har alltså inte förändrats sedan Fas 2.

Jag tolkar detta resultat som att webbplatskartan och tidstämpeln inte haft någon större inverkan på hur ofta Google uppdaterar sin cache av sidan, och att Google uppskattar den numera till synes väluppdaterade förstasida.

Fas 4 (Oförändrad förstasida + Ingen webbplatskarta)
Datum: 16 januari - 28 februari 2007
Den framslumpade förstasidan är nu borttagen och sajten har nu åter en statisk förstasida.

Fas 4 - Del 1
Under första delen av Fas 4, 16 januari - 6 februari 2007 fortsätter Google att uppdatera cachen/besöka förstasidan med 1-3 dagars mellanrum. Ingen förändring sedan Fas 3 alltså.

För att se om det finns någon form av fördröjning innan Google inser att förstasidan inte förändras längre förlänger jag Fas 4 till 28 februari.

Fas 4 - Del 2
Under andra delen av Fas 4, 7 februari – 28 februari, börjar Google att mindre frekvent besöka/uppdatera cachen för första sidan. Nu besöks sidan av Google med 4-6 dagars mellanrum.

Jag tolkar detta resultat som att Google numera ser sidan som mindre frekvent uppdaterad, men att det finns en viss fördröjning innan Google bestämmer sig för att besöka sidan mer sällan. Google visar en förståelse för att sidor ibland kan stanna i uppdateringen.

Fas 5 (Förändrad förstasida + Ingen webbplatskarta)
Datum: 1 mars - 15 mars 2007
Fas 5 liknar Fas 3, förstasidan genomgår en förändring varje gång sidan besöks. Någon webbplatskarta används ej.

Under Fas 5 besöker Google och uppdaterar cachen för förstasidan med 1-2 dagars mellanrum och under de sista 7 dagarna av Fas 5 besöks sidan med 1 dags mellanrum. Google besöker åter sidan oftare än vad som gjordes under Fas 4 (oförändrad sida).

Jag tolkar detta resultat som att Google åter uppskattar den numera till synes väluppdaterade förstasida och därför kommer på besök allt oftare.



SAMMANSTÄLLNING
Undersökningen säger att:

1. Google besöker och uppdaterar cachen för en sida mer frekvent om sidan uppdateras/förändras.
2. Webbplatskartans tidstämpel har obetydlig eller ingen inverkan på hur ofta Google besöker förstasidan.
3. Det finns en viss fördröjning innan Google slutar besöka en sida ofta när en sida slutar att förändras/uppdateras.
4. Det går att simulera en förändring på en sida för att Google ska besöka och uppdatera cachen av sidan oftare.

Observera att webbplatskartans låga relevansnivå i denna undersökning inte säger att webbplatskartan inte har en positiv eller negativ effekt för att hjälpa Google hitta sidor/undersidor på en sajt. Den låga relevansnivån säger oss enbart att webbplatskartans tidstämpel för senaste uppdatering har föga (eller ingen) inverkan på Googles tolkning om huruvida en sida uppdaterats sedan tidigare besök. Tidstämpeln i webbplatskartan kan också tänkas ha en viktig uppgift att informera Google om att sidor som mycket sällan besöks, har uppdaterats.



DISKUSSION
Det finns alltid faktorer som jag kan ha förbisett. Exempel på faktorer som kunnat inverka är t ex:

* Nya inkommande länkar till sajten med förtroende (Trust) kan ha påverkat utan att de kunnat hittas med olika mätinstrument.
* Liknande undersökningar borde ha gjorts på flera sajter för att kunna utesluta att resultaten uppkommit av en ren slump.
* Tidsrymden för varje fas hade kunnat utökas för att utesluta naturliga variationer i Googles besöksfrekvens.

Ytterligare undersökningar skulle kunna göras gällande:

* Hur stor (t ex procentuellt eller i tecken) en förändring bör vara för att påverka Googles besöksfrekvens.
* Kommer Google med tiden inse att det är samma sidor som återkommer (slumpas fram) och därmed inte besöka sidan lika ofta?

Tankar i slutskedet:

* Att Google på slutet besökte sidan med 1 dags mellanrum innebär det att Google just håller på att kartlägga förändringen?


LÄS MER
Om Googla och Blogar
http://www.seo-forum.se/google/1057-...ch-blogar.html

Hur ofta går Google igenom min sida.
http://www.seo-forum.se/google/238-h...le-igenom.html

Uppdateringsfrekvens
http://www.seo-forum.se/google/261-u...sfrekvens.html

Crawl dates importance
http://forums.digitalpoint.com/showthread.php?t=137905

Better details about when Googlebot last visited a page
http://googlewebmastercentral.blogsp...googlebot.html

Crawl dates in the Google cache
http://www.mattcutts.com/blog/video-...-google-cache/

Crawl dates in the Google cache (video)
http://video.google.com/videoplay?do...39395500097587

Google likes updated content!
http://forums.digitalpoint.com/showthread.php?t=5021

What is considered updated content?
http://forums.digitalpoint.com/showthread.php?t=8096

How frequent google update cache pages?
http://forums.digitalpoint.com/showthread.php?t=143226

304 (Not modified)
http://www.google.com/support/webmas...y?answer=40203

[whyld]

Japp, som sagt är jag nu redo för lite kritik och tankar kring undersökningen. Finns ju alltid något man missat ta med.

[Nisse]

En mindre c-uppsats ju! Ska läsa den imorgon.

[Magnus]

Hur stor del av förstsidan förändrades med scriptet? Var det hela materialet?

[Anders Granström]

Riktigt bra jobbat måste jag säga! Mycket intressant att läsa.

Jag har några funderingar. Jag tycker det skulle vara intressant att veta hur många inlänkar din sida hade och vilken trust dessa har (du behöver ej redovisa detta). Jag tror kanske att en sida med väldigt många inlänkar med hög trust påverkas mer av dina "interventioner" än en sida med färre och lägre trust (mina antaganden, andra kanske har andra erfarenheter).

Jag menar att man kanske måste över en "tröskel" innan kan påverka besöksfrekvensen från google så mkt osv.

Du var inne på att om man lyckas få upp besökvsfrekvensen hos google så kanske detta hänger kvar ett tag innan effekten avtar. I fortsatta tester kanske det kan vara av intresse att återgå till utgångspunkten ett tag innan man kliver vidare till nästa testfas. Så att "effekten" kan hinna avta.

Men som sagt, bra jobbat! Kräver nog ett + rykte tycker jag.

H/ Anders

[whyld]

Hur stor del av förstsidan förändrades med scriptet? Var det hela materialet?

Procentuellt var det ca 12% av sidan som förändrades (ca 4850 tecken).
Skulle dock vara intressant att ta reda på var gränsen går.

Jag tycker det skulle vara intressant att veta hur många inlänkar din sida hade och vilken trust dessa har (du behöver ej redovisa detta). /.../

Jag menar att man kanske måste över en "tröskel" innan kan påverka besöksfrekvensen från google så mkt osv.
H/ Anders

Antal inkommande länkar vid start 430 (Inklusive NOFOLLOW-länkar)
Antal inkommande länkar vid avslut 446 (Inklusive NOFOLLOW-länkar)
De nytillkomna länkarna var dock länkar från relativt nystartade bloggar och kataloger.

Detta vid en linkdomain:-sökning på Yahoo

Under tiden som undersökningen pågick jobbade jag inte med att skaffa inkommande länkar.

Skulle även vara intressant att testa och ta reda på eventuella skillander mellan sajter med olika ålder.

[Sundream Estate]

SAMMANSTÄLLNING
Undersökningen säger att:

1. Google besöker och uppdaterar cachen för en sida mer frekvent om sidan uppdateras/förändras.
3. Det finns en viss fördröjning innan Google slutar besöka en sida ofta när en sida slutar att förändras/uppdateras.
4. Det går att simulera en förändring på en sida för att Google ska besöka och uppdatera cachen av sidan oftare.

Tack whyld, helt överens med dig. Jobbar sedan länge med din teori med.
- Förändringar på home pages varje vecka.
- Mindre förändringar hela tiden på olika undersidorna varje vecka.
- Och jag har Googles var och varannan dag på home pagen och varje vecka i princip på hela siten.
- Google index/cached alla ny sidor mycket fort, o.s.v.

Bra skrivet.

// Lennart

[Magnus]

Procentuellt var det ca 12% av sidan som förändrades (ca 4850 tecken).
Skulle dock vara intressant att ta reda på var gränsen går.

Ja det här var en intressant undersökning, plus på ryktet, trevligt med ordentlig empiri.

Om du kommer fortsätta med liknande test kan det kanske vara värt att prova med mindre förändringar som sagt. En annan sak kan vara om det spelar roll var på sidan förändringar görs. Räcker det t ex med en nyhetsfeed i footern för att google ska tycka att min länkkatalog är ett under av uppdateringar.

[Maccke]

Riktigt kul whyld att du orkat ta dig tid att göra en sådan här undersökning. Good work.

Tänk på att använda fler webbplatser vid en framtida undersökning, nu blev ju urvalet extremt litet och säger inte så mycket. Det finns ju inga andra webbplatser att jämföra med. Hade du istället haft 10-20 olika sidor att jämföra mellan så hade det varit lättare att utläsa något resultat.

[Urban G]

En mycket intressant studie och analys som är bra för ryktet.

Nya inkommande länkar till sajten med förtroende (Trust) kan ha påverkat utan att de kunnat hittas med olika mätinstrument.

Jo det stämmer bra. Länkar från en, eller flera, sådana sidor kan ge effekt inom någon/några dagar och då lär de knappast hittas som backlinks någonstans.

[whyld]

Riktigt kul whyld att du orkat ta dig tid att göra en sådan här undersökning. Good work.

Tänk på att använda fler webbplatser vid en framtida undersökning, nu blev ju urvalet extremt litet och säger inte så mycket. Det finns ju inga andra webbplatser att jämföra med. Hade du istället haft 10-20 olika sidor att jämföra mellan så hade det varit lättare att utläsa något resultat.

Javisst, och det är just något jag nämner också. I alla sådana här typer av undersökningar måste man beakta sannolikheter och en hel del faktorer. Dock finns det många olika begränsningar som t ex budget, tid och nätverk.

Skulle någon annan med resurser göra om denna undersökning (sånt händer alltid i den vetenskapliga världen) och kunna bekräfta eller visa på motsatsen så skulle jag bara bli glad och läsa med intresse.

Saken var att undersökningen från början skulle vara liten och vara 45 dagar, men då jag hittade en hel del intressanta saker på vägen blev jag tvungen att utöka till 103 dagar och lägga till ytterligare faser. Men att lägga till ytterligare webbplatser hade jag tyvärr inte resurser till för tillfället.


En webbplats är bättre än ingen, men fler är givetvis bättre.

[Urban G]

Skulle nog vilja säga att det räcker med en webbplats som start. Eftersom du noga redogjort för med vilken metod du använt så är det möjligt att reproducera den på en, eller flera, andra webbplatser av någon annan.
Med användning av samma tekniker. Och om ett liknande resultat du uppnått även visas där så kan man anse din studie som validerad.

[Anton Johansson]

Mycket bra gjort. Undersökningen har i alla fall lärt oss en del värdefulla grejer!

Tanken var väl inte att göra en vetenskaplig analys för att publicera i någon vetenskapstidskrift direkt. Känns som om det här var enough work faktiskt, även om det maybe hade blivit lite bättre och sannare resultat med jämförelse mellan två eller fler webbplatser.

[seattlegrunge]

Vilken undersökning!
Jag fick upp flera frågor under genomläsningen av dina faser som jag själv tänkte undersöka/besvara, men du besvarade dem i din slutsats, så det behövs inte.

Vilken lördagsläsning

[baggelin]

intressant men har inte läst hela artikeln...

Min erfarenhet med en av mina sidor, inte uppdaterad sedan 1,5 år, är att det inte verkar ha betydels om det nite finns någon direkt konkurrens på ämnet.

Jag tycker dock att grekland punkt gr borde ha försvunnit långt ner på ranknig men med god traffik verkar den hålla sig ovenför ytan utan ens besöka den själv... har typ 10k besök per månad och det verkar vara modellen...

Har jag helt fel tro..

Michael

[baggelin]

Inkommande länkar hit och dit. inget argt inlägg men tar ni aldrig häönsyn till attraktivitet och de reella besökarnas effekt på sidan helt utom optimering etc har ju faktiskt de en hel del effekt.

Enligt min åsikt kan faktiskt endast besökarna, hålla en sida flytande me ndet kan även bero på att konkurrens inte finns.

Din artikel är helt intressant men har inte läst den ännu.

Jag tala om en sida jag har haft online i 1,5 år utan att knappt besöka den själv knappt men den ligger och svävar mellan första och andra sidan på sökordet, grekland och sidan är densamma punkt gr.

Alltså min slutsats av det är att naturliga besökare till en viss sida inte behöver optimeras om det finns tillräckligt med rätt intresse som hittar in...

vet inte om du tog upp det i din artikel men jag finner det otroligt intressant

Michael

[Frisse]

Sen undrar jag om inte Google kategoriserar olika siter och att detta sen spelar en viss roll för om/hur ofta en site uppdateras.
Jag menar ex.vis att en nyhetssite som inte är uppdaterad på ett år kanske inte är värd att hamna så högt upp i serpen som en site som handlar om Karl XII. Han har ju liksom inte gjort så mycket sen förra året

[David Olofsson]

Intressant undersökning. Har själv en fyra år gammal sida med mycket besökare och många subdomäner. Den har dock uppdaterats sällan och således uppdaterar google och andra sökmotorer framsidan och olika subdomäner endast varannan vecka.

Sidan har varit för stor och det har varit för många projekt rullande för att jag skulle kunna hinna optimera den helt. När jag väl har tid att göra det så är det dock mycket störande att man måste vänta i två veckor för att ändringarna ska slå igenom i sökmotorerna.

Så jag installerade en news feed från VirginWorlds och la in nofollow i eventuella länkar i posterna som uppdateras kanske fem ggr per dag på förstasidan med rss2html. Det blir i praktiken att cirka 50% av texten kommer att ändras flera ggs dagligen. Dock endast på framsidan.

Det ska bli intressant att se hur detta påverkar googles besök av förstasidan och subdomänerna (som dock fortfarande är rätt statiska, även om nyheter ibland postas på dem).

Även intressant i sammanhanget är huruvida en sida som skriver ut andras feeds kan räknas som copycat. Läste lite intressant om detta på http://googlewebmastercentral.blogsp...t-penalty.html och det verkar inte finnas så mycket att oroa sig för. De news som nu postas automatiskt på sidan (rpgstash) tillför nu faktiskt något eftersom det är riktigt intressanta nyheter för mitt klientel.