Webmastering - Référencement - Robots.txt

Présentation du fichier robots.txt

Le fichier robots.txt est un fichier texte contenant des commandes à destination des robots d'indexation des moteurs de recherche afin de leur préciser les pages qui peuvent ou ne peuvent pas être indexées. Ainsi tout moteur de recherche commence l'exploration d'un site web en cherchant le fichier robots.txt à la racine du site.

Format du fichier robots.txt

Le fichier robots.txt (écrit en minuscules et au pluriel) est un fichier ASCII se trouvant à la racine du site et pouvant contenir les commandes suivantes :

• User-Agent: permet de préciser le robot concerné par les directives suivantes. La valeur * signifie "tous les moteurs de recherche".
• Disallow: permet d'indiquer les pages à exclure de l'indexation. Chaque page ou chemin à exclure doit être sur une ligne à part et doit commencer par /. La valeur / seule signifie "toutes les pages du site".

Le fichier robots.txt ne doit contenir aucune ligne vide !

Voici des exemples de fichier robots.txt :

• Exclusion de toutes les pages :

  User-Agent: *
  Disallow: /

• Exclusion d'aucune page (équivalent à l'absence de fichier robots.txt, toutes les pages sont visitées) :

  User-Agent: *
  Disallow: 

• Autorisation d'un seul robot  :

  User-Agent: nomDuRobot
  Disallow :
  User-Agent: *
  Disallow: /

• Exclusion d'un robot :

  User-Agent: NomDuRobot
  Disallow: /
  User-Agent: *
  Disallow:

• Exclusion d'une page :

  User-Agent: *
  Disallow: /repertoire/chemin/page.html

• Exclusion de toutes les pages d'un répertoire et ses sous-dossiers :

  User-Agent: *
  Disallow: /repertoire/

Quelques User-Agents

Voici quelques exemples de User-Agents pour les moteurs de recherche les plus populaires :

Nom du moteur	User-Agent
Alta Vista	Scooter
Excite	ArchitextSpider
Google	Googlebot
HotBot	Slurp
InfoSeek	InfoSeek Sidewinder
Lycos	T-Rex
Voilà	Echo

Pour plus d'informations

The web robots page

Trucs & astuces pertinents trouvés dans la base de connaissances

20/02 20h44	Forcer un nom de domaine avec le fichier hosts (Réseaux)
Plus d'astuces sur « Robots.txt »

Discussions pertinentes trouvées dans le forum

02/03 11h08	[robots] fichier robots.txt	Internet	03/03 17h59->gdv	2
24/07 17h19	C:\WINNT\SchedLgU.Txt	Virus/Sécurité	25/07 01h35->balltrap34	20
18/05 16h36	manipulation fichier .txt	Développement	18/05 22h59->jipicy	17
18/12 01h34	SVCHOST.EXE.MDMP ET APPCOMPAT.TXT	Windows	25/12 23h22->aranjuez31	15
26/10 01h58	dxva_sig.txt ?????	Windows	09/02 15h06->fg03	9
06/12 12h54	[flash] txt externe : retour aléatoire html	Développement	14/12 12h48->lolothe	9
19/08 11h57	portrait robot	Logiciels/Pilotes	14/02 12h36->jaouada	8
05/09 20h37	export marque page (favoris) en format txt	Internet	07/09 09h31->sub13	6
10/11 12h23	comparaison de 2 fichiers ".txt"	Windows	10/11 14h03->pvallaud	6
06/05 10h12	les routeur robot	Windows	10/05 16h54->sam11	4
Discussion fermée Problème résolu		Plus de discussions sur « Robots.txt »