Matt Cutts nya post "Indexing Timeline"

Matt Cutts har precis skrivit en mycket värdefull och omfattande bloggpost angående BigDaddy, länkar, crawling och mycket mer.

Bernt Johansson tipsade mig om detta.

Här:
http://www.mattcutts.com/blog/indexing-timeline/

För att sammanfatta i ett par meningar på svenska så kan man väl säga att Google tittar nu mycket mer på länkar, relevans med länkar och till exempel vilka footer länkar man har och detta styr crawlfunktionen i BigDaddy.

Jag citerar nedan det jag personligen finner intressant.

Citat:

---

- After looking at the example sites, I could tell the issue in a few minutes. The sites that fit “no pages in Bigdaddy” criteria were sites where our algorithms had very low trust in the inlinks or the outlinks of that site. Examples that might cause that include excessive reciprocal links, linking to spammy neighborhoods on the web, or link buying/selling. The Bigdaddy update is independent of our supplemental results, so when Bigdaddy didn’t select pages from a site, that would expose more supplemental results for a site.

---

Citat:

---

Considering the amount of code that changed, I consider Bigdaddy pretty successful in that I only saw two complaints. The first was one that I mentioned, where we didn’t index pages from sites with less trusted links, and we responded and started indexing more pages from those sites pretty quickly.

---

Citat:

---

- Okay, let’s check one from May 11th. The owner sent only a url, with no text or explanation at all, but’s let’s tackle it. This is also a real estate site, this time about a Eastern European country. I see 387 pages indexed currently. Aha, checking out the bottom of the page, I see this:

[Bild av ca 20 orelevanta footer links]

Linking to a free ringtones site, an SEO contest, and an Omega 3 fish oil site? I think I’ve found your problem. I’d think about the quality of your links if you’d prefer to have more pages crawled. As these indexing changes have rolled out, we’ve improving how we handle reciprocal link exchanges and link buying/selling.

---

Citat:

---

Some folks that were doing a lot of reciprocal links might see less crawling. If your site has very few links where you’d be on the fringe of the crawl, then it’s relatively normal that changes in the crawl may change how much of your site we crawl. And if you’ve got an affiliate site, it makes sense to think about the amount of value-add that your site provides; you want to provide a reason why users would prefer your site.

---

Utdrag från hans kommentarer:

Citat:

---

There’s SEO and there’s QUALITY and there’s also finding the hook or angle that captivates a visitor and gets word-of-mouth or return visits. First I’d work on QUALITY. Then there’s factual SEO. Things like: are all of my pages reachable with a text browser from a root page without going through exotic stuff. Or having a site map on your site. After you’re site is crawlable, then I’d work on the HOOK that makes your site interesting/useful.

---

Intressant angående nofollow och Yahoo som jag undrat över:

Citat:

---

BTW, just because Yahoo reports nofollow links in the Site Explorer, I wouldn’t assume that those links are counting for Yahoo!Rank (or whatever you want to call it :) ).

---

Till diskussion:

DP Coop ska man inte köra på sina värdefulla sidor. Exemplet ovan med footer länkarna där det finns en länk till en tävlingssida var troligtvis coop.

Att utlänkarna är relevanta är en viktig faktor.

Reciprocal links kan skada om gjort för mycket.

Köpa/sälja länkar måste göras försiktigt.

EDIT:

I vilken grad kan Google mäta detta??

Är detta "the real deal", predikan eller skrämsel?

tycker informationen om utlankar varintresant

The sites that fit “no pages in Bigdaddy” criteria were sites where our algorithms had very low trust in the inlinks or the outlinks of that site.

Intressant info och bra att Google har börjat bry sig mer om utgående länkar nu. Man bör alltså passa sig för "excessive reciprocal links, linking to spammy neighborhoods on the web, or link buying/selling".

Jag tycker att Google har höjt kvaliteten på sin söktjänst rejält nu! Dom förtjänar att vara den populäraste sökmotorn...

Nu är det relevans som gäller!

När jag läst Matts post imorse var jag full av iver att kommentera och diskutera, men när jag skulle ta tag i det så kändes Matts post nästan för stor att börja gräva i. Därför PM:ade jag Jim istället.

Bra samanfattning Jim!

Min stora fråga är hur mycket av detta som faktiskt syns i SERP:en redan idag, och hur mycket som är en önskebild av hur det ska se ut i framtiden?

Tittar vi på svenska SERP:en så tycker jag att man, med all önskvärd tydlighet, kan se att de siter som rankat högt tack vare länkar från olika länknätverk gör det även idag.

Själv har jag bara testat DP och LinkVault, och resultatet av LinkVault är väldigt bra. Så jag tror att en hel del av det Matt skrivit är lite av "skrämseltaktik". Så vi ska nog inte dra för stora växlar på det ännu, jag vill i alla fall se mer bevis först.

Skulle vara intressant att höra från andra som testat lite olika länknätverk, ifall de känner av något av det Matt skriver?

Det är enligt mig till stor del skrämselteknik precis som nofollow predikandet men dock används det och det är bra att förstå och man bör följa det så gott man kan.

Jag har ett faktiskt exempel i ett sånt här straff:

Jag har en mindre värdefull webbplats (katalog) som jag utnyttjade för coop och sålde länkar på. Länk. Den hade ett tag en himla massa footer links (nu hälvten borttaget + coop) och jag var inte så noga med granskningen av inskick ...

Den fick rejält med stryk efter BigDaddy och nästan hela sajten plockades bort från indexet. Well, well, det var helt befogat av Google. :p

Hur många inkommande länkar hade siten Jim? Och vilken kvalitet hade länkarna?

Yahoo visar 16.100 och MSN 10.368, alltså en stor volym.

Inga riktiga kvalitetsinlänkar förutom en DMOZ-listning.

Sidan rankar dock otroligt bra på termer som "add url" och "add url free".

OK!

Då verkar det alltså som om G klarar av att (och faktiskt gör det) bedömma hur "off-topic" de utgående länkarna är och väljer att inte återindexera sidorna om de utgående länkarna verkar allt för spridda.....

Frågan som återstår är om detta syns även på svenska siter?

Tidigare har ju G's spamkrig i första hand fokuserats kring den engelskspråkiga SERP:en, kanske är det samma sak här. Att engelskspråkiga siter drabbas mer av bigdaddy än t.ex svenskspråkiga siter?

Samtidigt så kan ditt resultat i v7ndotcom tävlingen dragit Googles ögon till sig, och att det är därför som denna site drabbats?

För jag antar att du har använt denna site i ditt länkbygge i tävlingen?

Citat:

---

Då verkar det alltså som om G klarar av att (och faktiskt gör det) bedömma hur "off-topic" de utgående länkarna är och väljer att inte återindexera sidorna om de utgående länkarna verkar allt för spridda.....

---

Ja precis. Sidan hade även en kopia av DMOZ som en underkatalog och stryket kan även ha berott på det - är osäker. Sidan hade 25K sidor i Google och efter BigDaddy endast ett par hundra eller något.

Citat:

---

Frågan som återstår är om detta syns även på svenska siter?

---

Mycket osäker angående detta.

Citat:

---

Samtidigt så kan ditt resultat i v7ndotcom tävlingen dragit Googles ögon till sig, och att det är därför som denna site drabbats?

För jag antar att du har använt denna site i ditt länkbygge i tävlingen?

---

Hmm, kanske. Ja det fanns en footer länk till tävlingssidan men det gjorde det även från min blog och andra av mina sidor till ex.

Det jag inte blir riktigt klok på är hur i *** ska man kunna skaffa sig hundratals relevanta envägsinlänkar till sin sida?

Jag är nöjd med Link-Vault och den skaffar mig ett par hundra permanenta länkar per dag till mina sidor/undersidor men sidorna är bara något relevanta och att länkarna ofta finns i footern gör ju inte saken bättre ...

Jag tycker att den viktigaste lärdomen var att Googlebot måste ha blivit intelligentare. Matt skriver oss på näsan att sidor som är mycket perifera inom sitt område (och underförstått länkar ut till irrelevanta sidor) inte ens spindlas! Åtminstone tolkar jag delar av hans maratonpost på det sättet.

Well, som vissa har påpekat tidigare. detta är "drömscenariot", hehe. Fungerar inte helt så i praktiken. Ska dock bli kul att se vad som händer med vissa av mina sidor, som promotats i likhet med Jims och Marcus tävlingssidor. På den fick jag lite panik idag, då alla inlänkar inte varit relevanta, något jag brukade vara mkt noga med.. Har väl 1-2 prsju, 2-5 pr6, en drös med pr5 lite pr4 och massvis med pr3. Inte tillräckligt hög ratio av länkarna är relevanta, men nu göra jag en tvärvändning och går tillbaka till min ursprungstaktik, maximal relevans. Det lönar sig i längden och är framtidssäkert. Ska tigga länkar av systersidor, det tror jag bara är ett stort PLUS, länkbyte och 2vägs länkar mellan sidor i samma bransch! Har gjort vissa andra intressanta iaktagelser som jag kan dela med min till mina närmaste kollegor efter att tester bevisat att det är så.. Spännande med nya uppdateringen. Nu gäller det att slipa på taktikerna :D

Jag tror i och för sig inte att det är de inkommande länkarna som har så stor betydelse, de har antingen ett värde, eller ej. Påverkar med största sannorlikhet inte negativt. Men precis som andra före mig noterat så verkar de utgående länkarna vara avgörande.

Som Nikke skriver att de sidor som är perifiera inom sitt område, inte ens spindlas. När man tänker på det så är ju detta den enda strategi som Google kan ta för att komma åt automatiska länkbyggen. Att helt enkelt se till att plocka bort länkar utan relevans ur indexet.

Men någonstans måste det finnas en brytpunkt som gör att det är OK med länkar som är off topic. Jag ser mindre siter på svenska (under 100 sidor) som kör linkVault och har länkar som är väldigt off topic i sidfoten, men som inte drabbats alls.

Om även detta är någon form av "damage control" från Googles sida så kanske de bara bryr sig om siter som har mer än ett visst antal sidor? Eller så har det med språket att göra.

Skulle vara intressant att höra från någon som har stora länkbyggen på svenska?

Hur avgör Google vad som är "footer" eller inte?

Själv använder jag en metod där det sista i min kod är huvudmenyn på siten, sedan kommer "footern". Ovanför både huvudmenyn, undermenyn och footern kommer allt content ... allt positioneras dock med CSS, så man "ser" huvudmeny och undermeny överst i browsern, ovanför content.....

Kan denna meny ses som "footer" innehåll? Dock, så är det ju klart väldigt relevanta länkar :D

Tycker det är bra att Google rensar upp, och endast ger "trust" till relevanta sidor. Borde dock finnas undantag om man har någon typ av nyhetssite så blir det ju mycket svårt att avgöra om utlänkar/inlänkar är relevanta eller inte.

cya,
/PatrikB

Tror att detta med utgående relevans inte kommer att slå igenom i Sverige på väldigt, väldigt länge. Det svenska internet är helt enkelt för litet. Alla länkar till "orelevanta" sidor.

Men att Google har något slags relevansfilter för inkommande är nog möjligt, även om det kanske är så enkelt att dom tex kollar hur ofta söktermen förekommer på hemsidor som länkar till sidan som skall rankas eller något i den stilen.

Jag tror dock att om man lankar till sidor med bra TR sa kan man fa enliten bost pa sin egen tr

Jag förstår inte riktigt varför ni tror att det finns ett svenskt hörn av webben där relevans inte är applicerbart. Hur tänker ni? Eller länkar ni aldrig ut till amerikanska sajter? Är det i så fall en princip?

Mina engelskspråkiga sajter både länkar ut och har inkommande länkar från alla världsdelar. Naturligtvis länkar de även till svenska sajter och redan där börjar såväl kluster som relevans att synas även för de svenska sajterna.

Google klassificerar sajter ända ner på ordnivå, det vet vi, och det kan vi märka genom att använda AdSense. Efter en tid börjar man få relevanta annonser på en sajt långt innan Googles mediabot har hunnit in för att scanna av en ny sida!

Så om den semantiska klassificeringen finns där, och möjligheten att läsa av länkkluster även finns på plats... Skulle det vara så omöjligt att resa varningsflaggor eller helt enkelt stuva undan problemet några sidor ner i serpsen när avvikelser plötsligen uppstår?

Frågan är om det finns transspråklig relevans. Som jag tänker mig en relevansalgoritm är den baserad på "kociteringsgrad" av termer, som ju är specifika för ett språk.

Citat:

---

... där relevans inte är applicerbart. Hur tänker ni?

---

Såhär tänker jag iaf: det svenska internet har ett såpass litet antal sidor inom varje område, att 1) det är svårt och förknippat med fel att automatisk avgöra vilka termer som hör ihop 2) antalet möjliga "relevanta" länkar är såpass litet att effekten av dom enkelt kommer "övervinnas" av ett stort antal "orelevanta" länkar.

Citat:

---

Ursprungligen postat av Gustaf

Såhär tänker jag iaf: det svenska internet har ett såpass litet antal sidor inom varje område, att 1) det är svårt och förknippat med fel att automatisk avgöra vilka termer som hör ihop 2) antalet möjliga "relevanta" länkar är såpass litet att effekten av dom enkelt kommer "övervinnas" av ett stort antal "orelevanta" länkar.

---

Då förstår jag bättre. Men vi bör också betänka att varje sida även är en entitet i sig. Och om vi utgår ifrån detta faktum så är det värt tiden att ägna sig åt lite spekulationer.

Ta en typisk sida från någon sajt som jag har varit inblandad i. Till att börja med finns alla basala element på plats som hjälper Google att spåra de viktiga orden på sidan (och förstå vad det är som är relevant).
Den innehåller oftast ett ganska stort antal interna länkar till andra sidor inom samma domän. Dessa är nästan självklart relevanta (utom i vissa extremfall på sajter som behandlar väldigt många, väldigt olika ämnesområden). Kanske innehåller sidan också en eller ett par länkar ut från sajten, till sidor som på något sätt är relaterade. Finns det sedan en sidfot, en sidomeny eller annat som innehåller ett block med ett mindre antal länkar till sidor på andra domäner, som inte på något sätt har varken med den aktuella sidan eller med de övriga (externa) sidorna som länkas att göra, så kan det väl inte vara så förtvivlat svårt för Google att upptäcka ett mönster, någon sorts relevans för det sidkluster som den aktuella sidan tillhör.

Jag gör här antagandet att Google fortfarande, i grundläget, inte tittar på sajten som en entitet, utan främst håller sig på sidnivån.

Men i ljuset av Bigdaddy och i ännu högre grad med erfarenheter från AdSense, där det ju står utom allt tvivel att Google verkar kunna applicera en sorts sajt-tematik, så kan man se hur irrelevanta sitewide-länkar skulle kunna skada de enskilda sidorna.

Återfinns dessa irrelevanta, externa länkar på många sidor på sajten så kanske man kan misstänka att Google börjar plocka upp dessa irrelevanta länkar som en sorts tema för hela sajten. Det är ju ett välkänt faktum att utgående länkar har ett högre värde än interna länkar. Kanske är det helt enkelt så att Google antingen tappar tråden om det inte går att hitta något gemensamt tema för de utgående länkarna, och att det blir ännu svårare om dessa utgående länkar inte kan förknippas med de interna länkarna.

Om så Google får problem med att avgöra ett tema för sajten i sin helt, så borde denna osäkerhet kunna sippra neråt, tillbaka till värderingen av innehållet på den enskilda sidan.

Någon som trots en spretig sajt med massor av teman, har lyckats väldigt bra på sistone, är Uppslaget, som lyckats väldigt bra i serpsen på ett förkrossande stort antal nyckelord. Är det anmärkningsvärt att en länkkatalog som (förutom ett par Google-länkar) inte har en enda utgående länk lyckas så bra? Nej, inte i ljuset av funderingarna ovan. Alla utgående länkar dras via en 302-redirect. Det finns alltså inte några externa länkar att hänga upp relevansen på, men heller inte några externa länkar som kan störa intrycket, och klumpa ihop sidorna på fel sätt. Istället finns det länkar till näraliggande ämnen på sajten och en stor uppsättning länkar till andra huvudområden, som i sig har relaterade underområden.
Katalogstrukturen kan alltså hjälpa till med att avgöra temat på sidnivån, även på sajter som i princip inte har något tema på sajtnivån.

Godnatt! Nu måste jag lägga mig och fundera vidare på vad detta skulle kunna få för implikationer för sajter som har många interna site-wides till sidor som inte är index-sidor till en väldefinierad kategori undersidor...

Tycker det Nikke skriver är intressant, och värt att fundera vidare på, men samtidigt känns det som om vi kommer från spåret lite grand.

Utgångspunkten är ju att Google har byggt om sin crawling funktion, så att sidor som inte tillhör "webbens kärna", utan finns i "periferin" inte får samma indexering på djupet och ej heller samma återindexeringstakt. En av de avgörande faktorerna för hur google avgör om en sida är i "kärnan"
eller i "periferin" är, om man ska tolka Matt's post, hur många relevanta inkommande länkar från "trusted" sites som siten har samt hur spridd utlänkningen är.

Citat:

---

The sites that fit “no pages in Bigdaddy� criteria were sites where our algorithms had very low trust in the inlinks or the outlinks of that site. Examples that might cause that include excessive reciprocal links, linking to spammy neighborhoods on the web, or link buying/selling.

---

Detta gör att sidor som deltar i automatiska länkbyten, och har irrelevanta länkar till siter med låg trust, helt enkelt har tappat många av sina sidor ur G's index.

Någonstans i Matts svar på kommentarerna nämner han även att små siter med endast ett fåtal sidor, inte drabbas på samma sätt. Att en liten site med väldigt få eller inga inläknar, ändå kan indexeras till sin helhet.

Ja denna effekt har man märkt av ;) Från 600 000 sidor till 600 :D

http://www.hvac-direct.com/blog/2006...bob-cutts.html

Matt Cutts = Bagdad Bob, om ni minns honom från Irak kriget (Iraks informationsminister som spred en massa lögner). Rätt kul.

Råkul. Får mig att tänka på hur höga diskussionens vågor gick på andra forum, som SEOChat, när Google Guy började posta på WMW. Var han på riktigt?

Egentligen är det lite tråkigt att Matt släppte pseudonymen GG och började blogga under eget namn. Han kunde vara mer öppen under pseudonym än han kan i sin roll semi-oficiell företrädare för Google.

Citat:

---

Var han på riktigt?

---

Nästan 100% säker på ja.

När jag skrev på WMW att Matt Cutts och GG hade samma IP nummer raderades min post, jag fick varning och blev nästan bannad ... jisses.

Så håll detta "mellan oss", tack. Eftersom Matt fortfarande skriver om GoogleGuy som en annan person vill han forfarande försäkra sig om att folk tror de är olika personer ...

Jag kan inte låta bli att lägga ut en länk till:
http://cartoondollemporium.com/mattcutts.html

Klä din egen matt cutts docka