FS Data orsakar duplicate content

Har spenderat större delen av dagen åt att försöka lägga upp en sajt på FS Data vilket visat sig vara allt annat än enkelt p.g.a. uruselt upplägg och omöjlig kontrollpanel. Under arbetets gång upptäckte jag att preview-adresserna indexeras av Google.

Följande Google-sökning ger en drös exempel:

site:*.fsdata.se -site:www.fsdata.se

varbergskiropraktik.se
u3295547.fsdata.se/kiropraktik/
www u3295547.fsdata.se/kiropraktik/

Problemet är säkert uppmärksammat sedan tidigare men eftersom några snabba Google-sökningar inte gav resultat så är det lika bra att nämna det igen. Binero gjorde tidigare (?) samma sak varpå Jim publicerade en tänkbar lösning.

Tack för att du noterade detta.

Vi har nu ordnat så att samtliga u-konton (preview-adresser, som inleds med u1234567.fsdata.se) hos FS Data returnerar "Disallow: /" via /robots.txt.

Vi fick lyckligtvis notis om detta inlägg via Twitter, men rapportera gärna sådana här saker till vår kundtjänst (för snabbare hantering) här framöver: http://fsdata.se/kontakt

Hej Jonathan!

Bra och snabbt jobbat tycker jag.

Nu berörs inte jag själv av just det här, men vill ändå hjälpa er lite på traven, så att ni i alla fall har möjligheten att göra det helt rätt.

Att spärra ut Google via robots.txt funkar normalt bra om man gör det innan Google har indexerat en URL, men det funkar inte riktigt lika bra för att ta bort URL:er från index, tyvärr.
Det som normalt händer är att nästa gång Googlebot kommer för att titta på de sidorna, och då får meddelandet att de inte ska läsa av dem, är att de droppar innehållet på sidorna ut index, men behåller själva URL:erna. Man kan säga att sidorna finns i nåt slags limbo, mellan att vara indexerade och avindexerade, och det är inte jättebra, även om det är bättre än att allt innehåll finns där också.

Den bästa lösningen på det här problemet är enligt mig att i första läget lägga till en noindex-tagg på alla sidor i de här u-kontona, kontrollera att Google plockar bort dem från index, och efter det lägga till regeln i robots-txt, om det är det sättet ni helst styr hur Google indexerar.(Å andra sidan, om ni kan få in en noindex-tagg på alla sidor där per automatik, så gör den jobbet lika bra som robots.txt gör.)