Analyse de logs SEO : méthode et outils

Qu’est-ce qu’une analyse de logs SEO ?

Un fichier de logs, ou journal d’accès, enregistre chaque requête reçue par le serveur : visiteurs humains, robots, pages, images, scripts. L’analyse de logs SEO filtre ce journal sur les robots des moteurs de recherche. Elle observe leur parcours réel sur le site.

Un crawler comme Screaming Frog simule un robot. La Search Console résume ce que Google veut bien montrer. Les logs, eux, enregistrent ce qui s’est passé, requête par requête. Ils constituent la brique la plus factuelle d’un audit SEO technique.

Quand une analyse de logs est-elle utile ?

L’exercice demande du temps et un accès au serveur. Il se justifie surtout dans trois cas :

• Un site de plus de 1 000 pages, ou un e-commerce dont les URL changent souvent. En dessous, la Search Console suffit en général. C’est un repère de praticiens, pas une règle de Google.
• Des pages importantes qui peinent à être indexées, ou beaucoup d’URL « Détectées, actuellement non indexées ».
• Une refonte ou une migration, pour vérifier que Googlebot abandonne les anciennes URL et découvre les nouvelles.

Le guide de Google sur le budget de crawl (mis à jour le 22/07/2026) vise deux profils. Les sites d’environ 1 million de pages mises à jour chaque semaine. Les sites d’environ 10 000 pages dont le contenu change chaque jour. Google précise que ces chiffres sont des estimations grossières, pas des seuils. Notre article sur le budget de crawl détaille ces notions.

Que contient un fichier de logs ?

Le format le plus répandu est le « Combined Log Format » d’Apache, repris par Nginx. La documentation d’Apache en donne cet exemple :

127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (Win98; I ;Nav)"

Certains serveurs ajoutent le temps de réponse, très utile pour repérer les sections lentes. Sur Apache, les journaux se trouvent souvent dans /var/log/. Chez un hébergeur mutualisé, ils se téléchargent depuis l’espace client.

Comment analyser les logs, étape par étape ?

1. Récupérer les journaux de tous les serveurs sur une période représentative, idéalement 30 jours ou plus.
2. Normaliser les formats et les URL : protocole, casse, slash final, paramètres, pour pouvoir les rapprocher d’un crawl.
3. Filtrer les robots utiles : Googlebot d’abord, Bingbot ensuite, puis les robots des moteurs IA si le sujet vous concerne.
4. Vérifier l’authenticité des robots (voir la section suivante). Les faux Googlebot faussent toutes les mesures.
5. Séparer pages et ressources statiques : les images et scripts consomment aussi des requêtes, à mesurer à part.
6. Croiser avec un crawl complet et les données de la Search Console, puis segmenter par type de page.

Côté outils, Screaming Frog Log File Analyser lit les formats Apache et W3C (IIS, Nginx, AWS ELB). Il vérifie les robots automatiquement. GoAccess, gratuit, produit des rapports en ligne de commande. Oncrawl et Botify proposent des plateformes complètes, sur devis. Le guide de Screaming Frog explique comment préparer le crawl à croiser.

Comment vérifier que Googlebot est authentique ?

N’importe quel script peut se présenter comme Googlebot. Google documente deux méthodes de vérification de ses robots (page mise à jour le 20/03/2026) :

1. DNS inverse puis direct : la commande host sur l’IP doit renvoyer un nom en googlebot.com, google.com ou googleusercontent.com. Une recherche directe sur ce nom doit redonner la même IP.
2. Plages d’IP : comparer l’IP aux fichiers JSON publiés par Google (robots courants, robots spéciaux, récupérations déclenchées par un utilisateur).

Ces fichiers ont changé d’adresse le 31/03/2026, selon le blog Search Central. Google les a déplacés vers developers.google.com/crawling/ipranges/. Il annonce la redirection des anciens emplacements dans les six mois. Mettez à jour vos scripts de vérification.

La liste des robots courants de Google permet d’identifier chaque user-agent (Googlebot Smartphone, Googlebot Image, etc.). OpenAI publie de même ses robots (GPTBot, OAI-SearchBot, ChatGPT-User) et leurs plages d’IP sur sa page dédiée. Leur gestion est traitée dans notre article sur les robots des moteurs IA.

Quels indicateurs suivre dans les logs ?

Le croisement le plus parlant oppose logs et crawl. Une page présente dans le crawl mais absente des logs est trop profonde ou mal maillée. Une page présente dans les logs mais absente du crawl est souvent orpheline. Il peut aussi s’agir d’un vestige d’ancienne version ou d’une URL parasite.

Que faire des résultats ?

Les constats se traduisent en actions sur le site, rarement sur le serveur seul :

• remonter les pages stratégiques peu explorées dans l’arborescence et le maillage ;
• corriger les liens internes qui pointent vers des 301 ou des 404 ;
• traiter les URL parasites (paramètres, filtres) qui captent le crawl, puis suivre l’indexation dans Google ;
• réintégrer ou rediriger les pages orphelines qui reçoivent encore des visites de robots ;
• accélérer les gabarits lents, puis mesurer à nouveau un mois plus tard.

Une analyse de logs n’annonce jamais un gain de trafic. Elle établit ce que les robots font, et donc l’ordre des corrections. Elle s’inscrit dans le chantier plus large du SEO technique.