Les moteurs de recherche parcourent le Web (toile) à l'aide de spiders (araignées) ou robots et indexent automatiquement les pages des sites qui leurs sont soumises. En suivant les liens, les pages sont indexées les unes après les autres . Si bien que toutes les pages d'un site pourraient être finalement enregistrées dans la base de données du moteur. De même, des sites externes rattachés à vos documents par des liens peuvent faire également l'objet d'une indexation.
En fait, à partir d'une centaine de pages référencée, un moteur de recherche a la capacité de parcourir plusieurs centaines de milliers, voire même des millions, de documents rattachés par des liens hypertextes ou hyperimages. Les pages reliées sont toutes suceptibles de recevoir la visite d'une robot indexeur.
Cela pouvant provoquer des problèmes, notamment au niveau de la liberté. Il existe un moyen de contrer ce phénomène par le fichier robots.txt. Contenant des commandes spécifiques (Disallow:/repertoire/), il indique aux robots de ne pas visiter certains répertoires ou certains fichiers de votre site. En effet, en plaçant ce fichier texte à la racine de votre site, vous avez la possibilité de contrôler l'accès à vos documents.
Par ailleurs, l'indexation automatique de certaines pages dont la construction est particulière peuvent parfois être problématiques. En effet, des pages structurées autour des cadres (frames) ou d'une programmation spécifique à l'image de l'ASP (Active Server Pages), du PHP, du Flash, etc., constituent une pierre d'achoppement pour le référencement. Toutefois, les moteurs de recherches de plus en plus sophistiqués commencent à prendre en compte ce genre de pages, ainsi que des formats de documents plus spécifiques tels que les fichiers .PDF, .DOC, .RTF, etc..
Le référencement dans les moteurs de recherche demande certaines connaissances au niveau de la construction des pages. Le titre, les balises meta et les mots clés doivent faire l'objet d'une attention rigoureuse car ils constituent la trame principale de l'indexation automatique.
Enfin, les moteurs de recherche demeurent extrêmement susceptible en matière de spamindexing. Les tentatives fallacieuses dans le but d'obtenir un meilleur classement sont sévérement réprimées. Parfois, la frontière entre l'optimisation et le spamindexing semble bien ténue. Vous devez vous imposer une grande vigilance dans la construction des pages afin d'éviter tout malentendu préjudiciable.
Sommaire