Lite frågor om robots.txt

[jakobia]

Har flera url'er som spindlas liknande denna:

https://www.hemligurlsomintegårnågon...-42-c-119.aspx

Sedan har jag ett paginationproblem när det skapas fler sidor, liknande detta:


http://www.hemligurlsomintegårnågons...=1&useparams=0

Tänkte göra detta som jag hittade på nätet som jag har citerat nedan:

för http

Disallow: /?sortorder=*&

och för https

Disallow: /FastLogin

Är detta ett korrekt sätt att göra det på? För att blockera dessa url'er?
Och hur konfigurerar man det på servern? Att den använder olika robots.txt för de olika protokollen.
Det är en e-butik som använder Jetshop.

Guru

Oct 8, 2011
Sha Menz
Project Manager, Inbound Marketing at BF Design Studio

Hi Rick,

If you wish to use the robots.txt method to disallow all or part of your site's https protocol, you simply need to load two separate robots.txt files.

The http and https protocols are basically viewed by bots as if they were two completely separate root domains (which I guess you already know as you have mentioned the fact that port 443 is used for the secure protocol).

Google's advice is that to use this method, you should have a separate robots.txt file for each protocol with code as follows:

For your http protocol (http://www.startuploans.org/robots.txt):

User-agent: *
Allow: /

For the https protocol (https://www.startuploans.org/robots.txt):

User-agent: *
Disallow: /

However, blocking crawlers with robots.txt is not the most reliable method for excluding pages from Search engines. The reason for this is that the page will continue to be indexed if it happens to be found via a link from another page. Basically, the robots.txt is the sign on the front door that says "Please stay out of our house", but it is never seen by the people who enter via the rear exit or climb in a window!

The most reliable method of excluding pages is to add the noindex meta tag as suggested by MagentoWebDeveloper and Alan.When a bot encounters the noindex meta tag it will send a signal to the search engine to de-index the page and there is no further problem.

I would generally use noindex, follow rather than noindex, nofollow as the nofollow tag will stop the flow of link value through your site. In most cases, as long as the noindex is in place, there is no reason to be worried about the links on the pages being followed.

You should NEVER use both methods at the same time.

[Niklas Aronsson]

Någon som har ett svar på detta?

[Tobias Nyholm]

Jag skulle inte säga att robots.txt är rätt sätt att hantera detta problem. Jag skulle implementera canonical-taggen för att visa google att detta är /fastLogin.aspx eller /category-listning.aspx?term=cats

Anledningen är att du vill säga till google att "dessa sidor visar samma innehåll, det är bara en permutation".

[MOB]

Pain-in-the-b*tt
Håller med Tobias att robots inte är rätt väg, jag hade dock försökt kontakta Jetshop eller de som satte upp den.
Mycket möjligt de redan har en lösning / uppdatering på det här problemet.

[jakobia]

Jag skulle inte säga att robots.txt är rätt sätt att hantera detta problem. Jag skulle implementera canonical-taggen för att visa google att detta är /fastLogin.aspx eller /category-listning.aspx?term=cats

Anledningen är att du vill säga till google att "dessa sidor visar samma innehåll, det är bara en permutation".

Jo saken är den att vi redan har föreslagit detta för Jetshop, så de kommer nog att justera detta vid nästa uppdatering som de inte vet när den blir av. Dock har jag möjlighet att redan nu använda mig av robots.txt men jag kanske ska lugna mig och vänta på nästa uppdatering så kommer detta problem att lösa sig med tiden. Dumt att göra en "dålig" lösning som ligger och skräpar i systemet.