robot.txt fråga

[Jacob Jarnvall]

Hej!

är inte säker på huruvida detta är rätt forum, annars skulle det uppskattas om det kunde flyttas rätt

fråga 1. vad är fördelen/nackdelen att använda robotinstruktioner direkt i koden kontra att använda en robot.txt fil? example:

<meta name="robots" content="index, follow" />
<meta name="googlebot" content="index, follow" />

fråga 2. Vad är skillnaden på att ge generella regler för alla robots och för googlebot? varför gör man det? (exemplet ovan är hämtat ifrån en större sites source code)

[webguide]

Hmmm, de instruktioner du ger i dessa båda taggar är defaultvärden = du behöver inte ange dem. Om inget annats står i robots eller meta-robots så antar sökmotorerna att hela siten skall spindlas.
Jag använder aldrig metataggarna för robots eller robots.txt om jag inte vill utesluta något...

[Jacob Jarnvall]

Hmmm, de instruktioner du ger i dessa båda taggar är defaultvärden = du behöver inte ange dem. Om inget annats står i robots eller meta-robots så antar sökmotorerna att hela siten skall spindlas.
Jag använder aldrig metataggarna för robots eller robots.txt om jag inte vill utesluta något...

Tack för svaret! Men om jag har en admin panel inloggningssida som jag inte vill skall indexeras? hur bör jag göra då? använda meta-robots eller txt?

Och skall jag inkludera både googlebot och robots?

[Joppedi]

Jag utgår ifrån att alla sökmotorer läser robot.txt så det ska räcka med att ange vad man vill i den. Enklare att samla den infot på ett ställe.
Du behöver inte ange googlebot separat om du inte vill att den ska bete sig på nåt annat sätt.

[Jacob Jarnvall]

okay, men hur gör jag för att robotarna inte skall indexera t.ex. /adm?


Använder jag samma koder för googlebot som för robotarna i övrigt?

[webguide]

okay, men hur gör jag för att robotarna inte skall indexera t.ex. /adm?


Använder jag samma koder för googlebot som för robotarna i övrigt?

Ja.

[Jacob Jarnvall]

Ja.

Kanon! tack för all hjälp!

[Magnus-SEO]

Säg åt Google att inte indexera katalogen /hidden/:

User-agent: googlebot
Disallow: /hidden/


Säg åt alla sökspindlar att inte indexera en fil och en katalog:

User-agent: *
Disallow: /filnamn.html
Disallow: /katalog/

[JonasH]

Kanon!

[Mastermind]

Skillnaden mellan att skapa en robots.txt fil och att skriva in en meta-tagg för robots är att meta-taggen är till för dem som inte kan skapa textfiler eller kataloger på sin server. Eller dem som av annat skäl vill exkludera en enda enskild sida, förstås.

[Christian Bolstad]

Skillnaden mellan att skapa en robots.txt fil och att skriva in en meta-tagg för robots är att meta-taggen är till för dem som inte kan skapa textfiler eller kataloger på sin server. Eller dem som av annat skäl vill exkludera en enda enskild sida, förstås.

Något att tänka på:

Det finns få saker som väcker folks uppmärksamhet mer än att hitta filer och kataloger listade i robots.txt. Om du har en sida som du vill hålla under radarn är det säkrast att använda metataggar - då måste det ju finnas en länk till sidan någonstans för att någon av misstag ska ramla över den.

[David Nilsson]

Vill bara påpeka att robots.txt INTE är ett sätt för att skydda filer från obehöriga eller liknande. Sett ett antal sidor med meta noindex som egentligen borde vara skyddade med htaccess eller liknande...

[SteP]

Behöver man sätta disallow på alla underkataloger i robots.txt om man har disallowed huvudkatalogen?

Dvs.

User-Agent: *
Disallow: /min-katalog/

Behöver man skriva:

User-Agent: *
Disallow: /min-katalog/
Disallow: /min-katalog/min-katalog2/

Eller räcker det med exempel 1 för att inte indexera underkatalogen min-katalog2?

[Christian Bolstad]

Det första exemplet räcker - se det som att det finns en osynlig asterisk efter
katalognamnet.

http://www.robotstxt.org/wc/faq.html är bra gruva för information i ämnet