| Le Coin du Referenceur https://bmb29.com/ |
|
| Screaming Frog : comment optimiser son crawl pour un gros site ? https://bmb29.com/viewtopic.php?t=145 |
Page 1 sur 1 |
| Auteur : | seb59 [ sam. sept. 07, 2024 4:09 pm ] |
| Sujet du message : | Screaming Frog : comment optimiser son crawl pour un gros site ? |
Salut à tous, je dois crawler un site de +50k pages pour un client. J’ai configuré Screaming Frog avec 4 threads, mais c’est super lent. Des astuces pour accélérer le processus sans surcharger le serveur ? |
|
| Auteur : | sebastien59 [ sam. sept. 07, 2024 7:09 pm ] |
| Sujet du message : | Re: Screaming Frog : comment optimiser son crawl pour un gros site ? |
Perso, je limite à 2 threads pour éviter les blocages. Tu peux aussi exclure les paramètres d’URL inutiles et filtrer par types de fichiers. Et surtout, lance le crawl hors des heures de pointe ! |
|
| Auteur : | laura_digital [ sam. sept. 07, 2024 8:09 pm ] |
| Sujet du message : | Re: Screaming Frog : comment optimiser son crawl pour un gros site ? |
Je confirme pour les threads. Sinon, as-tu essayé de segmenter par sous-dossiers ? Crawler /blog/, puis /produits/ séparément. Ça évite les timeouts. Et pour le netlinking derrière, Linkuma a des outils sympas pour prioriser les pages à travailler. |
|
| Auteur : | seb59 [ dim. sept. 08, 2024 1:09 am ] |
| Sujet du message : | Re: Screaming Frog : comment optimiser son crawl pour un gros site ? |
Merci pour les tips ! Je vais tester la segmentation. @78 : Linkuma permet de croiser les données de crawl avec les backlinks ? J’avais pas vu cette feature. |
|
| Auteur : | laura_digital [ dim. sept. 08, 2024 3:09 am ] |
| Sujet du message : | Re: Screaming Frog : comment optimiser son crawl pour un gros site ? |
Oui, tu peux importer ton crawl dans leur interface et voir quelles pages ont peu de liens. Hyper pratique pour cibler les efforts. Leur réseau est tellement vaste que tu trouves toujours des opportunités. |
|
| Page 1 sur 1 | Fuseau horaire sur UTC |
|
Développé par phpBB® Forum Software © phpBB Limited |
|