robots.txt vs meta tagg

[monkboll]

Hej
Har stött på lite patrull när jag försöker blockera vissa sidor på min sida.
Har valt att använda robots.txt, men ser nu att en hel del sidor fortfarande indexeras fast med beskrivningen: "En beskrivning av det här resultatet är inte tillgänglig på grund av webbplatsens robots.txt".
Jag vill inte ha dem i SERP över huvud taget. Är det bara meta tagen robots som kan fixa detta?
Ska jag helt skrota min robots.txt och köra helt på meta för innehåll som ska blockeras.
Hur gör ni andra.
Mvh Magnus

[AaronAxelsson]

Hej

Det funkar såhär:

Robots.txt berättar för Google att de inte ska besöka en eller flera URL:er, men den säger egentligen ingenting om indexering.
Om Google inte har indexerat en viss URL tidigare, så är det i de allra flesta fall möjligt att hålla den utanför deras index med hjälp av Robots.txt, men om de redan har URL:en i sitt index kommer de oftast behålla den där om den blir blockad, då de "inte har möjlighet" att ta reda på om den finns kvar, har ändrats eller liknande. Det är därför de berättar att de inte har rätt att läsa dokumentet.

Meta-taggen robots berättar istället för Google hur de ska hantera indexeringen av dokumentet de just läser, och säger man där åt dem att inte indexera sidan tar de bort den. Det kan ibland ta en liten stund innan det försvinner, ungefär som när man ger ett 404 svar. Det verkar som de vill försäkra sig om att det inte är ett misstag.

Det är sällan jag rekommenderar att använda Robots.txt för att kontrollera Google, det är ett väldigt trubbigt verktyg i min mening. (Det finns såklart andra robotar man kan tänkas vilja hantera där, men just Google är rätt kassa på att fatta den där filen.)

Så, kontrollera din indexering med Meta-taggar, det funkar mycket bättre.

[monkboll]

Tack för snabbt svar.
Ska sätta mig och fixa till det med meta tagg i stället se om det blir bättre.