illustration de l'article sur le robot.txt en referencement de site internet

Robot.txt et référencement naturel, ce qu’il faut savoir …

Un point extrêmement important en référencement naturel, c’est que rien ne doit indiquer au moteur de recherche, au robot des moteurs de recherche, qu’une partie qui devrait être logiquement référencée ne doit pas l’être … Et pourtant une erreur est souvent faite !

Je m’explique, il existe un fichier qu’on appelle robot.txt, c’est un simple fichier texte que vous pouvez créer dans n’importe quel éditeur s’il n’existe pas. On le met à la racine du site. Grosso modo on le met à la racine du serveur sur lequel est votre site.

Si vous avez un site, vous avez donc un serveur FTP comme le logiciel FileZilla que j’utilise régulièrement, qui va vous permettre d’aller dans les dossiers de votre site. A la racine, c’est-à-dire au premier niveau, vous allez trouver, ou vous allez devoir créer, un fichier “robot.txt”. En faisant un clic droit dessus (pour les utilisateurs de FileZilla), un menu s’affiche sur lequel vous allez choisir “Afficher/Editer”. Le dossier s’ouvre.

    C’est un simple fichier texte qui se décompose en :

  • User-agent : *
  • Disallow :
  • Disallow :

Sur chaque ligne “Disallow”, vous allez spécifier tout ce que vous ne souhaitez pas voir référencé sur votre site Internet. En l’occurrence, on va lui demander, par exemple, de ne pas référencer tout ce qui constitue votre back office, un dossier en particulier comme “/images/” ou “/language/”…

Ainsi, certaines parties de votre site que vous ne voulez pas référencer, vous allez les préciser dans ce fameux fichier “robot.txt”.

Mais vous devez, par contre, absolument vérifier qu’il n’y ait pas une partie fondamentale de votre site, comme par exemple un dossier qui contiendrait des images importantes, un dossier primordial, qui soit indiquée dans ce document-là, interdisant alors son référencement. Sinon, vous allez vous demander pourquoi votre site a du mal à bien se positionner sur Google et c’est justement parce que vous avez dit à votre moteur de recherche de ne pas le faire. Donc vérifiez bien le robot.txt qu’il n’y ait rien qui interdise au robot de le référencer.

Cet article est extrait de la formation sur le référencement naturel. Cliquez-ici pour télécharger cette formation.

Termes associés à cet article:
Partagez !
Share on facebook
Share on twitter
Share on linkedin
Share on whatsapp
Share on pinterest
Share on email
Guillaume Grelet
Guillaume Grelet
Expert en génération de prospects qualifiés à fort potentiel de signature de contrat ou d'achat via le canal "Search" de Google ad's et co-fondateur de l'agence de marketing digital "Business Antidote" spécialisée en génération de leads et acquisition de clients. Je met à disposition des lecteurs du blog et des clients de l'agence mon expérience de plus de 10 ans pendant lesquels j'ai formé plus de 900 entreprises, 4000 élèves, vendu plus de 1500 formations en ligne et généré + de 2 millions de vues sur Youtube.
Exprimez vos besoins et transmettez-nous votre numéro de téléphone, nous vous rappellerons rapidement.
  • Ce champ n’est utilisé qu’à des fins de validation et devrait rester inchangé.