Lorsque vous désirez interdire aux robots des moteurs de recherche l'accès à un fichier ou à un répertoire de votre site, il suffit de créer un fichier robots.txt et de le placer à la racine de votre site. Ce fichier contient des commandes dont la syntaxe est relativement simple :

#robots.txt pour le site http://www.monsite.com User-agent: * User-agent: WebCrawler Disallow: /rep/sousrep/ Disallow: /fichier.html Disallow: / Disallow:

La commande User-agent:* signifie que la requête s'applique à tous les moteurs. Si un robot est spécifié à la place de l'étoile, alors seul ce robot n'aura pas accès aux pages et répertoires du sites énumérés.
Les lignes suivantes indiquent aux robots de ne pas visiter dans l'ordre :

• le sous-répertoire sousrep contenu dans le répertoire rep,
• le fichier.html directement sous la racine,
• le site complet.

Tandis que la dernière commande autorise un accès sans restriction au site.

Pour en savoir plus sur le sujet, consultez le document The Web Robots Pages.