John Mueller de Google répond à une question sur l’utilisation de robots.txt pour bloquer des fichiers spéciaux, y compris .css et .htacess.

Ce sujet a été abordé en détail dans la dernière édition du Demandez aux Google Webmasters série vidéo sur YouTube.

Voici la question qui a été soumise:

« Concernant robots.txt, dois-je » interdire: /*.css$ « , » interdire: /php.ini « , ou même » interdire: /.htaccess « ? »

En réponse, Mueller dit que Google ne peut pas empêcher les propriétaires de sites de refuser ces fichiers. Bien que ce ne soit certainement pas recommandé.

« Non. Je ne peux pas vous empêcher de refuser ces fichiers. Mais cela ressemble à une mauvaise idée. Vous mentionnez quelques cas particuliers, alors jetons un œil. « 

Dans certains cas, le blocage de fichiers spéciaux est tout simplement redondant, bien que dans d’autres cas, cela puisse sérieusement affecter la capacité de Googlebot à explorer un site.

Voici une explication de ce qui se passera lorsque chaque type de fichier spécial est bloqué.

En relation: Comment faire face aux risques de sécurité avec les fichiers Robots.txt

Blocage du CSS

L’exploration du CSS est absolument essentielle car elle permet à Googlebot de rendre correctement les pages.

Publicité

Continuer la lecture ci-dessous

Les propriétaires de sites peuvent penser qu’il est nécessaire de bloquer les fichiers CSS afin que les fichiers ne soient pas indexés d’eux-mêmes, mais Mueller dit que cela ne se produit généralement pas.

Google a quand même besoin du fichier, donc même si un fichier CSS finit par être indexé, il ne fera pas autant de mal que de le bloquer.

Voici la réponse de Mueller:

«‘ * .Css ’bloquerait tous les fichiers CSS. Nous devons être en mesure d’accéder aux fichiers CSS afin de pouvoir rendre correctement vos pages.

Ceci est essentiel pour que nous puissions reconnaître lorsqu’une page est adaptée aux mobiles, par exemple.

Les fichiers CSS ne sont généralement pas indexés par eux-mêmes, mais nous devons pouvoir les analyser. « 

Bloquer PHP

L’utilisation du fichier robots.txt pour bloquer php.ini n’est pas nécessaire car ce n’est pas un fichier facilement accessible de toute façon.

Ce fichier doit être verrouillé, ce qui empêche même Googlebot d’y accéder. Et c’est parfaitement bien.

Le blocage de PHP est redondant, comme l’explique Mueller:

Publicité

Continuer la lecture ci-dessous

«Vous avez également mentionné PHP.ini – c’est un fichier de configuration pour PHP. En général, ce fichier doit être verrouillé ou dans un emplacement spécial afin que personne ne puisse y accéder.

Et si personne ne peut y accéder, cela inclut également Googlebot. Donc, encore une fois, pas besoin d’interdire l’exploration de cela. « 

Blocage de htaccess

Comme PHP, .htaccess est un fichier verrouillé. Cela signifie qu’il n’est pas accessible de l’extérieur, même par Googlebot.

Il n’a pas besoin d’être interdit, car il ne peut pas être analysé en premier lieu.

«Enfin, vous avez mentionné .htaccess. Il s’agit d’un fichier de contrôle spécial auquel il n’est pas possible d’accéder par défaut en externe. À l’instar des autres fichiers verrouillés, vous n’avez pas besoin de l’interdire explicitement de l’exploration, car il n’est pas du tout accessible. « 

En relation: Meilleures pratiques pour la configuration des balises Meta Robots et Robots.txt

Recommandations de Mueller

Mueller a clôturé la vidéo avec quelques mots courts sur la façon dont les propriétaires de sites devraient procéder pour créer un fichier robots.txt.

Les propriétaires de sites ont tendance à rencontrer des problèmes lorsqu’ils copient le fichier robots.txt d’un autre site et l’utilisent comme le leur.

Mueller déconseille cela. Au lieu de cela, réfléchissez de manière critique aux parties de votre site que vous ne souhaitez pas explorer et ne désavouez que celles-ci.

« Ma recommandation est de ne pas simplement réutiliser le fichier robots.txt de quelqu’un d’autre et de supposer que cela fonctionnera. Au lieu de cela, pensez aux parties de votre site que vous ne voulez vraiment pas avoir explorées et interdisez simplement l’exploration de celles-ci. « 

Articles Liés: