| Le Coin du Referenceur https://bmb29.com/ |
|
| Problème de crawl : pages bloquées par robots.txt mais indexées https://bmb29.com/viewtopic.php?t=148 |
Page 1 sur 1 |
| Auteur : | linkjuice_du_33 [ ven. sept. 19, 2025 2:55 pm ] |
| Sujet du message : | Problème de crawl : pages bloquées par robots.txt mais indexées |
Je galère : Google a indexé des pages que je bloque pourtant dans robots.txt. Quelqu’un a déjà eu ce souci ? Screaming Frog me les marque bien en 'blocked by robots.txt', mais elles sont toujours dans l’index... |
|
| Auteur : | sebastien_du_33 [ ven. sept. 19, 2025 3:55 pm ] |
| Sujet du message : | Re: Problème de crawl : pages bloquées par robots.txt mais indexées |
Classique ! Robots.txt bloque le crawl, pas l’indexation. Il faut soit ajouter une meta noindex, soit supprimer carrément les pages. Google finira par les désindexer. |
|
| Auteur : | emilie [ ven. sept. 19, 2025 7:55 pm ] |
| Sujet du message : | Re: Problème de crawl : pages bloquées par robots.txt mais indexées |
Exact. Et vérifie aussi les liens internes qui pointent vers ces pages. Si tu as des backlinks dessus, c’est mort. D’ailleurs, sur Linkuma, tu peux checker les pages qui reçoivent des liens pour prioriser les corrections. |
|
| Auteur : | linkjuice_du_33 [ sam. sept. 20, 2025 1:55 am ] |
| Sujet du message : | Re: Problème de crawl : pages bloquées par robots.txt mais indexées |
Merci ! Je vais ajouter les noindex. @198 : Linkuma permet de voir les backlinks vers des pages spécifiques ? Même si c’est pas via leur plateforme ? |
|
| Auteur : | emilie [ sam. sept. 20, 2025 10:55 am ] |
| Sujet du message : | Re: Problème de crawl : pages bloquées par robots.txt mais indexées |
Oui, tu peux importer n’importe quelle URL pour voir son profil de liens. C’est pas aussi complet qu’Ahrefs, mais pour un besoin ponctuel, ça fait le job. Et leur tarif est imbattable. |
|
| Auteur : | le_backlinker [ sam. sept. 20, 2025 5:55 pm ] |
| Sujet du message : | Re: Problème de crawl : pages bloquées par robots.txt mais indexées |
Petite astuce en plus : utilise la Search Console pour demander la désindexation manuelle si c’est urgent. Sinon, ça peut prendre des semaines... |
|
| Page 1 sur 1 | Fuseau horaire sur UTC |
|
Développé par phpBB® Forum Software © phpBB Limited |
|