Non, dans la plupart des cas, Google et les autres moteurs de recherche ne doivent pas indexer les pages de résultats de recherche de votre site Web.

La sagesse de longue date de l’optimisation des moteurs de recherche indique que les pages de résultats de votre recherche de site doivent bloquer les robots des moteurs de recherche et ne pas être incluses dans l’index des pages d’un moteur de recherche.

Le but est d’éviter de décevoir les utilisateurs de Google et d’empêcher les robots des moteurs de recherche de perdre leur temps à télécharger et à analyser des pages qui, vraisemblablement, n’aideront pas les visiteurs ou votre entreprise.

Expérience utilisateur

Les moteurs de recherche veulent offrir à leurs utilisateurs une bonne expérience de recherche. C’est pourquoi Google, Bing et DuckDuckGo, à titre d’exemples, passent autant de temps à essayer d’obtenir les bons résultats de recherche.

Malheureusement, une page de résultats de recherche de votre site peut ne pas être un bon résultat pertinent.

Voici un exemple. Imaginez qu’une personne se rend sur Google et tape «quelle est la meilleure chaussure de course pour les coureurs lourds».

Parmi les résultats affichés figure l’un des résultats de recherche internes de votre site. Mais la page indexée et liée est une liste de produits pour le terme de recherche « chaussures de course pour hommes ».

Cette page de résultats de recherche interne comporte également une section faisant la promotion d’un des articles de blog de votre entreprise. C’est ce billet de blog qui mentionne les coureurs lourds et est en quelque sorte indexé.

Cette page de résultats de recherche interne ne serait pas une excellente page de destination et ne devrait probablement pas être incluse dans l’index.

Ce résultat n’est pas utile. La personne utilisant le moteur de recherche doit cliquer deux fois – une fois sur les résultats de recherche de Google et une fois sur les résultats internes de votre site – pour obtenir les informations dont elle a besoin. De plus, le visiteur peut mal interpréter le résultat et supposer que votre site lui montre une liste de chaussures de course matelassées pour être déçu après avoir passé une commande.

Un pire exemple vient d’un article de 2018 de Matt Tutt, un expert en SEO technique basé au Royaume-Uni.

Dans l’article, Tutt a noté que le détaillant en ligne Wayfair autorisait l’indexation de certaines de ses pages de résultats de recherche générées dynamiquement.

Si vous recherchez sur Google au moment de l’article de Tutt «Wayfair.com» avec une certaine phrase liée au sexe, vous verrez un résultat.

Wayfair ajoutait dynamiquement des mots-clés à ses descriptions de page de recherche, donc la copie que vous verriez sur le SERP de Google se lirait, « Achetez Wayfair pour le meilleur [sex-related word]. Profitez de la livraison gratuite sur la plupart des trucs, même les gros trucs.

« Si vous avez eu le courage de cliquer sur le SERP ci-dessus, vous seriez accueilli par » la copie suivante, selon Tutt.

« [Sex-related word]. Chez Wayfair, nous voulons nous assurer que vous trouverez les meilleurs articles pour la maison lorsque vous magasinez en ligne. Vous avez recherché [sex-related word] et cette page affiche les correspondances de produits les plus proches… »

Comme le note Tutt, cette page et sa copie « ne sont pas le type de contenu que vous souhaitez que les utilisateurs ou les moteurs de recherche découvrent en tant que fournisseur de meubles de maison. »

En d’autres termes, de nombreuses pages de résultats de recherche internes sont générées automatiquement et peuvent ne pas être un bon contenu pour les utilisateurs effectuant une recherche sur Google ou un autre moteur de recherche.

Depuis, Wayfair a modifié ses résultats de recherche de sorte qu’une recherche pour ce mot clé particulier renvoie désormais «stylos» sur le site Wayfair plutôt que le terme sexe d’origine.

Permettre l’indexation des pages dynamiques signifie ne pas savoir quels types de résultats votre entreprise montre aux clients potentiels.

Ce n’est pas beaucoup mieux. Google ne veut probablement pas classer les pages de résultats de recherche internes de votre entreprise, et vous gaspillez beaucoup d’énergie de Googlebot, si vous voulez, sur des pages qui ne peuvent pas être très utiles à votre entreprise.

Perdu dans les mauvaises herbes

« Pour les pages de recherche internes, deux aspects jouent un rôle pour nous », a déclaré John Mueller de Google lors d’un Hangout central pour les webmasters en avril 2018.

«Premièrement, il est très facile pour nous de nous perdre dans les mauvaises herbes en essayant d’explorer toutes vos pages de recherche internes. Si, fondamentalement, n’importe quel mot de votre site peut conduire à une page de recherche interne, et que nous avons toutes ces pages de recherche internes potentielles, et qu’elles servent toutes du contenu, alors nos systèmes peuvent se déclencher et dire: «  Oh, nous allons essayer de tout explorer de vos pages de recherche internes, car il y a peut-être quelque chose de vraiment utile. « Donc, d’un point de vue rampant, ce n’est probablement pas optimal. »

Googlebot alloue du temps – le «budget d’exploration» – à chaque site. Il y a probablement de meilleures pages sur votre site Web pour explorer autre que les résultats de recherche internes.

Une exception

Tutt, Mueller et d’autres mentionnent qu’il existe probablement une exception à la règle: si vous utilisez les résultats de recherche interne de votre site pour les pages de catégorie.

Les plateformes de recherche avancées – par exemple, Twiggle, Algolia – peuvent générer des catégories de produits ou des pages de marques. Un commerçant pourrait configurer la plate-forme avec des synonymes et des antonymes pour fournir ou exclure une catégorie.

Blocage des moteurs de recherche

Il existe au moins deux façons de dire à Google et aux autres moteurs de recherche de ne pas indexer les pages de résultats de recherche internes de votre site: le noindex directive dans la section d’en-tête de chaque page et la refuser règle dans un fichier robots.txt. (J’ai abordé le sujet « SEO: dites à Google quelles pages ne pas explorer. »)

Après avoir expliqué pourquoi les marchands devraient bloquer l’indexation des pages de résultats de recherche internes, j’ai ensuite examiné comment 10 principaux sites de commerce électronique le faisaient. Le 9 mars 2020, j’ai vérifié le fichier robots.txt de chaque site pour refuser et également examiné les résultats de recherche sur le site noindex directif.

SiteRobots.txt disallownoindex

AmazonNoNo

Barnes & Noble Oui Oui

Bain et travaux corporelsOuiNon

Best BuyNoNo

GameStopOuiOui

Home DepotOuiNon

Fin des terres Oui Non

Sur La TableOuiOui

CibleOuiOui

WalmartOuiNon

J’ai choisi Amazon, Walmart et Target en raison de leur importance. Les sept autres que j’ai choisis plus ou moins au hasard dans une liste de sites de commerce électronique que je suis. Seuls deux des 10 sites ont empêché les moteurs de recherche d’indexer les pages de résultats de recherche internes.