Robots.txt

Qu’est-ce que le Robots.txt ?

Le fichier Robots.txt est un fichier texte qui peut être enregistré sur le serveur d’un site web. Il détermine si et quand les robots des moteurs de recherche peuvent visiter les sous-pages d’un site web et les inclure dans leur index. Ce faisant, certaines sous-pages peuvent être exclues des résultats de la recherche.

Par exemple : en utilisant des fichiers robots.txt, vous pouvez empêcher les archives d’un site web d’être incluses dans les résultats de la recherche. Certains moteurs de recherche choisissent cependant d’ignorer les fichiers robots.txt. Si une sous-page doit vraiment être cachée des moteurs de recherche, elle doit être protégée par un mot de passe.