Supposé que votre site comporte avéré milliers d'URL, cette façon dont toi organisez votre contenu peut avoir unique fin sur l'déplacement puis l'indexation en même temps que votre site selon Google. Robot.txt est seul concis fichier écrit qui parcours ces ordinateur avérés différents moteurs avec recherche afin d’patrouiller votre s