Google ignore le "noindex, nofollow"
Pourquoi ? Pour nous faire parler évidemment ? Non, Google veut une standardisation du fichier en question. Pour ceux qui ne l'auraient pas encore remarqué, il n'y a qu'un maître du jeu. C'est Google qui fixe les règles. Dans ce cas précis, on parlera des règles d'exploration.
Le décor est planté
Il existe différentes balises utilisées par les webmasters lors de la création des pages d’un site Internet. Ces balises sont des directives qui permettent d’effectuer ou pas une série d’opérations sur le contenu qui se trouvent sur Internet.
Si les balises « Noindex, Nofollow » servent à ne pas indexer ou suivre une page sur les moteurs de recherche, cela est en train de changer.
Google : noindex, nofollow
Les bots, les robots d'exploration de Google n'interpréteront plus certaines données telles que le noindex et le nofollow. Selon lui, de nombreux sites ne respectent pas la charte qui a été développée au début des années 90 par le créateur du Robots Exclusion Standard.
Même si Google communique peu à ce sujet, il existe des règles à suivre. Le peuple d'Internet doit s'y soumettre sous peine de disparaître dans les méandres des recherches...
Et si je ne veux pas être indexé ?
A partir du 1er septembre 2019, dans votre CMS, pour ceux qui en disposent, il faudra utiliser d'autres techniques que le simple fait de cocher noindex, nofollow pour certaines pages.
Cela peut se faire dans les tags, au niveau des métas. C'est même la solution la plus prisée. Il y a également des subtilités au niveau des codes. On parle des HTTP 404 et des HTTP 410 notamment.
Noindex, nofollow ou... disallow
Dans le robots.txt, il est toujours possible d'opter pour le disallow. Le quoi ? Le disallow est une directive qui permet de demander aux bots de ne pas explorer une page.
C'est une syntaxe intéressante qui permet de trouver une subtilité. Elle n'interdit pas l'indexation de l'URL, mais il y aura la mention suivante : "Aucune information n'est disponible pour cette page".
Chez Proximedia, nos experts s'occupent de tout, pour vous, gratuitement. Si vous avez des questions ou si vous souhaitez aller plus loin, contactez-nous !