Le fichier robots.txt

Le fichier robots.txt est un fichier texte placé à la racine de votre site qui indique aux robots des moteurs de recherche (Google, Bing, etc.) quelles pages ou sections ils sont autorisés à explorer. Sur 42Stores, un fichier par défaut est déjà configuré sur l'ensemble des boutiques : il exclut de l'indexation les URL techniques et les types de fichiers qui n'ont pas vocation à apparaître dans les résultats de recherche. Dans la grande majorité des cas, vous n'avez pas à y toucher.

Accéder à l'éditeur

Pour consulter et modifier votre fichier robots.txt, rendez-vous dans votre backoffice en suivant le chemin Configuration du site > Référencement.

⬇

Sur la page Référencement, vous verrez un encart dédié au fichier robots.txt, accompagné d'un avertissement vous invitant à ne modifier ce fichier que si vous êtes certain de ce que vous faites. Cliquez sur le bouton Editer le fichier robots.txt pour afficher l'éditeur.

Une fois l'éditeur ouvert, vous pouvez modifier librement le contenu du fichier. Cliquez sur Enregistrer pour valider vos modifications : elles sont appliquées immédiatement, sans étape de confirmation.

Le contenu par défaut

Le fichier livré par défaut sur toutes les boutiques 42Stores est le suivant :

User-Agent: *
Disallow: /fullcart
Disallow: /cart
Disallow: /instantsearch
Disallow: /csp_report
Disallow: /pub/*.csv$
Disallow: /*.pdf$
Disallow: /*.PDF$
Disallow: /*.zip$
Disallow: /*.doc$
Disallow: /*.docx$
Disallow: /*.xls$
Disallow: /*.xlsx$
Disallow: /*.ppt$
Disallow: /*.pptx$
Disallow: /*.odt$
Disallow: /*.ods$
Disallow: /*.odp$

La directive User-Agent: * indique que ces règles s'appliquent à tous les robots. Les lignes Disallow listent les chemins et extensions de fichiers que les robots ne doivent pas explorer.

Les pages /cart, /fullcart et /instantsearch correspondent au panier et à la recherche en temps réel : des processus internes sans intérêt pour l'indexation. La règle /csp_report concerne les remontées de sécurité du navigateur, qui ne doivent pas non plus être indexées.

Les extensions de fichiers bloquées (PDF, ZIP, documents Office et OpenDocument) sont des ressources téléchargeables. Les laisser accessibles aux robots pourrait créer des entrées parasites dans l'index de Google ou exposer des fichiers internes à votre activité.

Quand modifier ce fichier ?

Le cas le plus fréquent est une demande d'une agence SEO dans le cadre d'un audit ou d'une stratégie de référencement. Contentez-vous alors d'appliquer les instructions transmises par l'agence.

Vous pouvez également avoir besoin de bloquer une section spécifique de votre site, par exemple une catégorie temporairement hors ligne ou une page de test. Il suffit d'ajouter une ligne du type Disallow: /votre-chemin/.

Attention cependant : bloquer une URL dans le robots.txt empêche les robots de l'explorer, mais ne la retire pas de l'index si Googl