Le web invisible: certaines pages non indexées sur Google?

Google, Msn et Yahoo! sont les moteurs de recherche les plus utilisés. Il est donc très important pour toutes les pages Web d'y être présent. Il y a cependant un nombre croissant de pages qui ne peuvent être indéxées par les moteurs de recherche et qui reste ainsi invisbles pour les autres internautes, en dépit du fait qu'elles ont souvent un contenu très riche.

Cette partie invisible  du Web repésente actuellement un large pourcentage du nombre total de pages sur Internet. En fait, comme beaucoup d'analyste le fond, on peut considérer le World Wide Web comme un immense Iceberg dont seule la partie émergée serait accessible à l'internaute lambda.

L'enjeu pour les webmasters est d'aider les moteurs de recherche à indexer toutes les pages d'un site internet.


Pourquoi Certains Contenus Ne Sont Ils Pas Indexés Par Les Moteurs De Recherche?

Il peut y avoir plusieurs raisons à l'origine de ce phénomène :

• Le site web est trop volumineux pour être totalement indexé : Certains sites internet ont des millions de pages web dont seulement un faible pourcentage sont indexées à cause de la profondeur du site.
• Les pages sont protégées par le webmaster : Des fichiers tels que "robots.text" et robots "noindex" ou "nocache" meta tags contenu dans le code HTML de la page empêchent les moteurs de recherche d'accéder au contenu de celle-ci.
• Les pages avec du contenu dynamique : Les pages qui sont le résultat de requêtes et qui n'ont pas d'URL statique, peuvent rendre impossible l'indexation par le moteur de recherche du fait que celui-çi n'est pas capable de soumettre une requête faite à l'origine par un Homme.
• L'utilisation de mots de passe : de nombreux sites limitent l'accès à certaines pages ou nécessitent l'utilisation de mots de passe. Les pages qui ne sont accessibles uniquement après la saisie d'un mot de passe ne sont pas accessible par les moteurs de recherches.
• Pages isolées : Les moteurs de recherche suivent généralement les liens d'une page indexée pour se rendre dans les autres pages du site. Ils auront donc beaucoup plus de difficultés à trouver une pages qui ne contient aucun lien entrant.
• Les pages utilisant unquement du contenu Java script ou Flash sont très difficilement indexables.

Rendre Le Contenu Invisible...Visible.

Inclure un moteur de recherche interne au site est dans doute le meilleur outil pour aider les utilisateurs à trouver le contenu du site. Il y a plein de moyens pour rendre tous le contenu d'un site indexé par les moteurs de recherche. Le plus important est de mettre des liens vers les pages "invisibles" depuis des pages qui sont déjà indexées.

Penser aux structures database est la chose la plus importante lors de vos recherches. De très nombreuses databases sont visibles, mais contiennent des pages cachées (en dépit du fait que celle ci ont  un contenu très riche car souvent rédigées par des professeurs, étudiants, professionnels et experts). Fournir l'accès à vos databases par le biais d'un catalogue en ligne est une très bonne idée. Les internautes peuvent ensuite avoir une recherche plus "manuelle" pour trouver certains contenus ou informations spécifiques.

Les archives contiennent également de nombreuses pages généralement pas indexées par les moteurs de recherches.

Il existe ensuite des moteurs de recherches spécialisés pour ce type de contenu tels que Google Scholar, Complete Planet, Google Book Search, Pipl, Infomine etc, qui peuvent être utilisé pour trouver du contenu généralement ignorés par les moteurs classiques.

D'autres pratiques permettant d'augmenter le nombre de pages indexées par les moteurs de recherche:

• Créer un plan du site compréhensible en HTML avec des liens pour les principales sections qui vont à leur tour pointées vers les sous parties.
• Utiliser uniquement du code HTML et convertir les formats pdf, word ou excel. Lorsque ça n'est pas possible (vidéos, musiques...), transcrire le contenu en tant que texte supplémentaire, pour que les moteurs de recherche soit capable de savoir quel contenu ils indexent et de le placer en conséquence.
• Obtenir des liens depuis d'autres sites ayant le même type de contenu
• Faire des marques pages dans les social bookmark tels que del.icio.us, Google Bookmarks and Yahoo! MyWeb.