Une erreur HTTP 403 Forbidden signifie que le serveur refuse l’accès à la ressource. Le problème peut venir des permissions, d’une règle applicative ou d’un pare-feu. Sur une page destinée à être publique, une 403 persistante peut empêcher Google d’en récupérer le contenu. Traitement des statuts HTTP.
Commencer par la réponse reçue
Commande de diagnostic sur un domaine d’exemple :
curl -sS -D - -o /dev/null https://example.com/page/
Elle effectue une requête GET et affiche les en-têtes. Contrairement à une capture du navigateur, elle permet de voir le statut réellement envoyé. Un navigateur connecté peut avoir un accès que n’a pas une requête sans session.
Isoler la cause
| Observation | Vérification |
|---|---|
| Refus pour tous les visiteurs | Permissions, règle serveur, accès applicatif |
| Refus seulement sans connexion | Protection d’une page censée être publique |
| Refus intermittent ou selon l’origine | Journal du pare-feu, CDN, limitation |
| Le crawler échoue mais le navigateur réussit | Requête exacte et logs au même instant |
Changer simplement le user-agent pour « Googlebot » ne prouve pas ce que le vrai robot reçoit. Utilisez l’inspection d’URL et confrontez les requêtes aux journaux ; l’identité d’un robot doit être vérifiée.
Corriger sans ouvrir les accès privés
Repérez la règle qui produit le refus, puis corrigez uniquement le chemin public concerné. Ne supprimez pas globalement les protections du serveur et n’appliquez pas des permissions ouvertes à tous les fichiers.
Testez ensuite une page publique, une ressource protégée et une URL inexistante : la correction de l’une ne doit pas changer les droits des autres. Conservez ces trois réponses dans la recette.
Pour poursuivre, distinguez une erreur de serveur 502 d’une interdiction de crawl dans robots.txt. Une réponse 200 rétablie rend le contenu accessible ; elle ne garantit pas son indexation.