Vad är robots.txt? Vad har man för användning av det? Hur gör man en robots.txt? Någon som har en länk till en sida som förklarar vad det är så en annan förstår? Eller finns det något program som kan skapa robots.txt?
Mvh
Alfons74
Utskriftsvy
Vad är robots.txt? Vad har man för användning av det? Hur gör man en robots.txt? Någon som har en länk till en sida som förklarar vad det är så en annan förstår? Eller finns det något program som kan skapa robots.txt?
Mvh
Alfons74
Här är en bra sida:
www. robotstxt. org
robots.txt är en vanlig textfil som du bör skapa och placera i rooten på den katalog/sajt som berörs.
Jag har tänkt skriva detta länge: robots.txt är oerhört viktig. Det visade sig nämligen för mig att om denna fil är korrupt så slutar google besöka sajten. MSN och Yahoo fortsatte som vanligt, så jag förstod inte vad som var fel.
Att inte ha en robots.txt alls funkar nog bra, men om man vill styra upp hur sökmotorn spindlar sajten så är den bra att ha.
Tack för svar. Idag har jag ingen robots.txt fil på mina sajter. Måste man ha en robots.txt fil för att google ska lättare söka igenom sajten? Som jag förstår så minskar man sökområdet för google när man har en robots.txt fil, så google bara söker det man tycker är viktigt. Stämmer det?
/Alfons
Om det nu är så att man har robots.txt för att minska sökområdet för google spindel. Varför skulle jag vilja minska på sökområdet? Jag vill ju ha ska söka igenom allt. Så som jag ser har jag ingen nytta av en robots.txt? Eller kan jag ha det ändå? Vad är poängen som jag inte inser? Är det med fördel att ha en robots.txt?
/Alfons
Här är min robots.txt:
http://www.lindqvist.com/robots.txt
Det finns massor av anledningar till att använda en robots.txt-fil men man klarar sig oftast lika bra sökmotormässigt utan den.
Det finns fler spindlar än Googles som säger sig lyda robots.txt. Jag brukar tidvis helt låsa ute Ask.com från att spindla min sajt eftersom de brukar käka upp hela sajten till frukost, lunch och middag och dessutom gärna ta några sidor till mellanmål och nattamat. Detta utan att ge några som helst besökare tillbaka dessutom.
På en annan sajt jag sköter replikerar vi hela sajten med annant utseende i en katalog. Dit vill vi inte släppa in spindlarna, eftersom vi inte vill ha duplicerat innehåll i Googles index.
På ytterligare en sajt ligger alla formulär och PDF-filer i två olika katalog som vi inte släpper in spindlarna till. Dels för att vi inte vill att de ska börja anmäla sig till olika saker, dels för att PDF-filer stoppar länkflödet utan att kunna konvertera särskilt bra.
Om du vill ha hela sajten genomsökt ordentligt så använd en Google Site Map för att tydliggöra för Google. Det är bra.
...om man har denna fil?
"http:// www.dindomän.se/robots.txt" helt enkelt
Det har jag aldrig märkt något av ... eller, jag har inte ens en robots.txt fil, och det verkar gå bra ändå ;)Citat:
Ursprungligen postat av Mastermind
Man kanske skulle lägga till en robots.txt för att få se vad som nänder, kanske man tar sig upp till #1 på många fraser man idag ligger som #2 - 6
cya,
/PatrikB
Det jag skrev var att om man har en korrupt robots.txt så kan google sluta besöka sajten. De tar väl det säkra före det osäkra och spindlar inte alls om de inte kan läsa vad som inte får spindlas.
Det är väldigt användbart med robots.txt. Lika användbart som nofollow-attributet, tycker jag. Den som pysslar med SEO vill ju ha lite småtricks i portföljen. :)
Tänk dig följande:
Du har ett forum med ett antal användarprofiler. Dessa innehåller en massa skräp, kanske länkar till andra sajter, osv. Därför sätter du nofollow på länkarna till profilerna.
Detta kommer inte att funka så bra eftersom det bara är DINA länkar till profilerna som har nofollow. Användarna kan nämligen från sina egna sajter direktlänka till profilerna hos dig varpå de får en utlänk till en annan sajt. (Det händer titt som tätt, kolla backlinks på användarprofilerna här på seo-forum så ser du hur folk gjort, de små luringarna.)
Om du istället lägger in i robots.txt att t.ex. /medlemmar/ - dvs din virtuella foldern för medlemmarnas profiler ska undantas från sökmotorn så uppstår inte detta.
Har jag rätt eller har jag rätt eller har jag... fel?