Resultat 1 till 12 av 12

Robots.txt & meta-robots: förklaring och guide

  1. #1
    Jim Westergrens avatar
    Jim Westergren Jim Westergren är inte uppkopplad SEO-proffs: utökad profil
    Administratör
    Reg.datum
    feb 2006
    Ort
    Täby
    Inlägg
    2 728

    Denna artikel är flyttad till SEO-guide.se:


    Robots.txt
    och
    META-element






    Men diskutera gärna artikeln i denna tråden.
    Senast redigerat av Jim Westergren den 2009-05-12 klockan 02:23.
    Bor nu i Marbella, Spanien
    Kolla in mitt SEO verktyg Domainstats

  2. #2
    adamsdotters avatar
    adamsdotter adamsdotter är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    nov 2010
    Inlägg
    32
    Jim! Du sa att du borde uppdatera guiden eftersom den inte är helt up-to-date. Jag som inte är bäst på regexp undrar därför om detta fortfarande gäller:

    Blockera alla URLer på din domän som slutar med .gif:
    User-agent: *
    Disallow: /*.gif$

    Blockera alla URLer som innehåller sessionid:
    User-agent: *
    Disallow: /*sessionid



    If so, borde alltså detta fungera fint väl?

    User-Agent: *
    Disallow: /*cart.aspx$ # Disallow alla url:ar som slutar på cart.aspx
    Disallow: /*Menu.aspx$ # Disallow alla url:ar som slutar på Menu.aspx
    Disallow: /*page.aspx/changelang # Disallow alla url:ar som innehåller 'page.aspx/changelang'

  3. #3
    Jim Westergrens avatar
    Jim Westergren Jim Westergren är inte uppkopplad SEO-proffs: utökad profil
    Administratör
    Reg.datum
    feb 2006
    Ort
    Täby
    Inlägg
    2 728
    Ja det stämmer men jag är inte säker på om du kan ha kommentarer på samma rad som kommandoraderna eller om de ska vara på enskilda rader. Jag rekommenderar alltid alla att testa sin text i robots.txt i Google webmaster tools om man är lite osäker innan man uppdaterar filen.
    Bor nu i Marbella, Spanien
    Kolla in mitt SEO verktyg Domainstats

  4. #4
    adamsdotters avatar
    adamsdotter adamsdotter är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    nov 2010
    Inlägg
    32
    Jag skrev kommentarerna enbart för detta inlägg, dom ska inte ligga där sen.
    Ska testa i GWMT också. Tack!

  5. #5
    Tobias Nyholms avatar
    Tobias Nyholm Tobias Nyholm är inte uppkopplad Moderator
    Reg.datum
    maj 2009
    Ort
    Stockholm
    Inlägg
    881
    Citat Ursprungligen postat av adamsdotter Visa inlägg
    If so, borde alltså detta fungera fint väl?

    User-Agent: *
    Disallow: /*cart.aspx$
    Disallow: /*Menu.aspx$
    Disallow: /*page.aspx/changelang
    Jag vill bara att du ska observera att "punkt" = "alla tecken". Den andra raden matchar också ordcartTaspx lika väl som ordcart.aspx

    Läs mer om regex här: http://www.seo-forum.se/showthread.php?t=6591
    CTO på Happyr.com. Vi gör rekrytering effektivt

  6. #6
    adamsdotters avatar
    adamsdotter adamsdotter är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    nov 2010
    Inlägg
    32
    Även om . är mitt i ett ord?!
    Kollade på länken, tack. Hittade dock ingen info om hur man matchar hela ordet.
    Men å andra sidan kanske det är smartare att skriva:

    User-Agent: *
    Disallow: cart.aspx
    Disallow: Menu.aspx
    Disallow: /*page.aspx/changelang

    Även fastän cart.aspx ligger på både .com/sv/ .com/no

  7. #7
    Tobias Nyholms avatar
    Tobias Nyholm Tobias Nyholm är inte uppkopplad Moderator
    Reg.datum
    maj 2009
    Ort
    Stockholm
    Inlägg
    881
    Nej. För att det ska matcha exakt som du vill så måste du "skydda" punkten. DVS använda punkten som en punkt och inte en platshållare för "alla tecken". Detta gör man med ett backslash.
    Kod:
    Disallow: /*cart\.aspx$
    CTO på Happyr.com. Vi gör rekrytering effektivt

  8. #8
    adamsdotters avatar
    adamsdotter adamsdotter är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    nov 2010
    Inlägg
    32
    Ah! Tack för det!

  9. #9
    Jim Westergrens avatar
    Jim Westergren Jim Westergren är inte uppkopplad SEO-proffs: utökad profil
    Administratör
    Reg.datum
    feb 2006
    Ort
    Täby
    Inlägg
    2 728
    Jag tror inte det Tobias. I vanlig regex så javisst men detta tror jag inte är normal regex utan endast * och $. Google skriver till exempel Disallow: /*.gif$ i sitt eget exempel. Gjorde du testen adamsdotter?
    Bor nu i Marbella, Spanien
    Kolla in mitt SEO verktyg Domainstats

  10. #10
    adamsdotters avatar
    adamsdotter adamsdotter är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    nov 2010
    Inlägg
    32
    Efter närmare research tror jag inte heller det.

    "Regular Expressions are not allowed in robots.txt, but Googlebot (and some other robots) can understand some simple pattern matching. User-agent directive is valid with lower case a. You don't have to escape . or `/'. "

    Mao är det inte samma regexp som används i vanlig programmering.

    Google säger:
    "To block files of a specific file type (for example, .gif), use the following:
    User-agent: Googlebot
    Disallow: /*.gif$
    "

  11. #11
    adamsdotters avatar
    adamsdotter adamsdotter är inte uppkopplad Kan SEO rätt bra
    Reg.datum
    nov 2010
    Inlägg
    32
    Citat Ursprungligen postat av Jim Westergren Visa inlägg
    Gjorde du testen adamsdotter?
    Nej har inte hunnit, ska göra den asa. Återkommer!

  12. #12
    Tobias Nyholms avatar
    Tobias Nyholm Tobias Nyholm är inte uppkopplad Moderator
    Reg.datum
    maj 2009
    Ort
    Stockholm
    Inlägg
    881
    Citat Ursprungligen postat av adamsdotter Visa inlägg
    Efter närmare research tror jag inte heller det.

    "Regular Expressions are not allowed in robots.txt, but Googlebot (and some other robots) can understand some simple pattern matching. User-agent directive is valid with lower case a. You don't have to escape . or `/'. "

    Mao är det inte samma regexp som används i vanlig programmering.

    Google säger:
    "To block files of a specific file type (for example, .gif), use the following:
    User-agent: Googlebot
    Disallow: /*.gif$
    "
    Okej, då är det bara köra på som du gjorde först.
    CTO på Happyr.com. Vi gör rekrytering effektivt

Ämnesinformation

Användare som tittar på det här ämnet

Det är för närvarande 1 användare som tittar på det här ämnet. (0 medlemmar och 1 gäster)