Robot.txt et référencement naturel, ce qu'il faut savoir ...

Un point extrêmement important en référencement naturel, c’est que rien ne doit indiquer au moteur de recherche, au robot des moteurs de recherche, qu’une partie qui devrait être logiquement référencée ne doit pas l’être ... Et pourtant une erreur est souvent faite !

Je m’explique, il existe un fichier qu’on appelle robot.txt, c’est un simple fichier texte que vous pouvez créer dans n’importe quel éditeur s’il n’existe pas. On le met à la racine du site. Grosso modo on le met à la racine du serveur sur lequel est votre site.

Si vous avez un site, vous avez donc un serveur FTP comme le logiciel FileZilla que j'utilise régulièrement, qui va vous permettre d’aller dans les dossiers de votre site. A la racine, c’est-à-dire au premier niveau, vous allez trouver, ou vous allez devoir créer, un fichier “robot.txt”. En faisant un clic droit dessus (pour les utilisateurs de FileZilla), un menu s’affiche sur lequel vous allez choisir “Afficher/Editer”. Le dossier s’ouvre.

• C’est un simple fichier texte qui se décompose en :

• User-agent : *
• Disallow :
• Disallow :
• …

Sur chaque ligne “Disallow”, vous allez spécifier tout ce que vous ne souhaitez pas voir référencé sur votre site Internet. En l'occurrence, on va lui demander, par exemple, de ne pas référencer tout ce qui constitue votre back office, un dossier en particulier comme “/images/” ou “/language/”…

Ainsi, certaines parties de votre site que vous ne voulez pas référencer, vous allez les préciser dans ce fameux fichier “robot.txt”.

Mais vous devez, par contre, absolument vérifier qu’il n’y ait pas une partie fondamentale de votre site, comme par exemple un dossier qui contiendrait des images importantes, un dossier primordial, qui soit indiquée dans ce document-là, interdisant alors son référencement. Sinon, vous allez vous demander pourquoi votre site a du mal à bien se positionner sur Google et c’est justement parce que vous avez dit à votre moteur de recherche de ne pas le faire. Donc vérifiez bien le robot.txt qu’il n’y ait rien qui interdise au robot de le référencer.

Cet article est extrait de la formation sur le référencement naturel. Cliquez-ici pour télécharger cette formation.