Trente-huit mille références : budget d'exploration et Indexing Hub
Un catalogue de pièces s'adresse à un seul lecteur : le planificateur qui tape un numéro exact à sept heures du matin et attend la bonne page. Si cette page n'a jamais été explorée, le catalogue n'existe pas pour lui. Voici l'étape d'avant le classement : comment un robot rationne ses visites et où se place l'Indexing Hub.
La plupart des fournisseurs d'ici connaissent leur catalogue à la ligne près : 38 000 numéros de stock, ou 1 200 unités en cour et une arborescence de zones desservies de Nisku à Fort Saskatchewan. Aucun chiffre ne dit combien de ces pages un moteur a vues.
L'écart entre les deux comptes est l'endroit où se perdent les demandes de soumission, et aucun tableau de bord ne le signale. Les 6 000 pages de remplacement publiées en mars restent absentes jusqu'à l'automne.
Une référence publiée n'est pas une référence trouvable
Publier et être trouvé sont deux événements séparés par des semaines sur un gros catalogue, avec trois mécanismes entre les deux. Le moteur doit obtenir l'adresse. Un robot doit y consacrer une requête. L'index doit accepter le résultat. Un seul mot recouvre les trois, d'où des réunions sur la mauvaise étape.
- La découverte est un défaut d'information. Rien ne pointe vers la page. Elle se cache derrière un formulaire ou trois clics de filtres. Il n'y a pas de refus : l'adresse n'a jamais été communiquée.
- L'exploration est un défaut de ressource. Les requêtes vers votre domaine sont rationnées chaque jour, et la ration peut partir entière dans des permutations de renvois menant à douze produits.
- La conservation est un jugement. Une page portant un numéro de stock, un poids et rien d'autre ressemble aux 4 000 voisines : chargée, évaluée, écartée.
- Les remèdes ne se remplacent pas. Une nouvelle soumission ne sauve pas une page chargée puis refusée ; une réécriture ne fait rien pour une page qu'aucun robot n'a demandée.
Prenez un distributeur de Nisku qui met en ligne 6 400 pages de remplacement et en compte 1 900 indexées quatre mois plus tard. Deux lectures du même nombre. Si le journal ne contient aucune requête de robot pour les 4 500 absentes, la panne est à la découverte et une file les fera avancer. Si elles ont été servies puis abandonnées, une autre série d'envois ne changera rien.
Le budget d'exploration se dépense, il ne s'octroie pas
Le budget d'exploration n'est pas un quota qu'on demande, achète ou négocie. Il découle de deux mesures continues : la vitesse et la fiabilité de votre serveur, et la valeur apparente du domaine. Servez une série d'erreurs 500 sous la charge du lundi matin et le rythme reste bas des semaines durant : un robot se bride avant de surcharger un hôte.
Le point délicat est ailleurs : le budget part sur des adresses que personne n'a décidé de publier. Sorties de machine, pas choix éditoriaux — et il y en a une dizaine par page écrite.
| Source de la fuite | Forme prise sur un catalogue d'ici | Ordre de grandeur | Où se règle le problème |
|---|---|---|---|
| Navigation à facettes | Filtres d'alésage, de filetage, de pression et de matériau, tous en statut 200 | Des dizaines de milliers d'adresses pour quelques milliers de références | Règles d'exclusion et balise canonique sur chaque filtre |
| Permutations de renvois | Numéro concurrent vers le vôtre, généré dans les deux sens, parfois sur trois niveaux | Multiplie le catalogue par quatre ou cinq | Une page canonique par pièce, les renvois pointant dessus |
| Unités vendues ou rentrées | Machines parties de la cour depuis longtemps dont la fiche répond encore | S'accumule à chaque mois d'activité | Une règle de retrait : parti signifie 410 ou redirection |
| Réponses lentes en charge | Recherche de pièces qui expire pendant qu'un robot parcourt les filtres | Maintient le rythme bas bien après la pointe | Cache et marge dimensionnés pour le trafic automatisé |
Faites le calcul pour un distributeur moyen : huit mille vraies pages de pièces, cinq dimensions de filtres et une table de renvois bidirectionnelle dépassent 200 000 adresses explorables. Une ligne ajoutée le mardi se retrouve derrière des permutations de filetage, sans qu'aucune erreur soit levée, et apparaît à la fin de la saison des soumissions.
Quatre profils de sites qui butent sur ce mur
Un trait réunit les entreprises qui butent là-dessus en premier : le nombre de pages suit l'inventaire et le territoire, pas un calendrier éditorial. Personne n'a approuvé 38 000 pages. Le progiciel de gestion les a produites.
Catalogues de pièces et remplacements
Chaque numéro de stock reçoit une page, plus ceux qu'il remplace et ceux qui le remplacent. Le catalogue grossit dans trois directions.
- Les numéros remplacés portent la demande
- Les nouveaux indexés avec des mois de retard
- Les renvois dupliquent l'arborescence
Stock de concessionnaire et parcs de location
Les unités arrivent, partent en location, reviennent et se vendent. Valeur commerciale et durée de vie de la page vont en sens inverse.
- Vendues avant d'être explorées
- Fiches vendues jamais retirées
- Pages maigres propres à un numéro de série
Pages de capacités et de matériaux
Tolérances, épaisseurs de tôle, alliages, procédures de soudage, certifications : autant de pages qu'un donneur d'ordre cherche par leur nom.
- Faible volume, forte intention
- Les variantes de gabarit passent pour des doublons
- Certifications enfouies dans des PDF
Zones desservies dans la région
Un service mobile vendu sur un vaste rayon produit une page par municipalité, différant par un nom de lieu.
- Trente pages presque identiques par service
- Multipliées par chaque ligne de service
- Absorbent du budget, ne rapportent rien
Le même renversement traverse les quatre profils : les arrivages de la semaine et les remplacements du trimestre portent la valeur et se périment le plus vite, mais attendent derrière des pages qui ne se périment jamais. Voilà le goulot.
Cela fausse aussi la mesure : comparer le trafic d'un mois à l'autre n'apprend rien quand l'ensemble des pages a changé. La question honnête est plus étroite : sur les références publiées en un mois, combien ont été explorées en trente jours.
Le sitemap est un manifeste d'expédition, pas de la paperasse
Chez la plupart des entreprises, le sitemap est un fichier produit par une extension et jamais rouvert. Là où le stock change chaque semaine, c'est le seul mécanisme qui déclare ce qui a bougé, et sa construction décide si la réponse sera interprétable.
Donnez au Hub un fichier ou une adresse et il parcourt l'arborescence sur trois niveaux : un index principal, des index de section, des fichiers d'adresses au bas. Un même travail suit jusqu'à 1 000 sitemaps, ce qui rend la découpe praticable.
Une arborescence de sitemaps tenable pour un catalogue de pièces
Découpez selon le rythme de changement, pour qu'une section en retard se lise dans les compteurs.
- Le fichier du haut n'est qu'un index. Une seule adresse remise au moteur et au Hub, ne listant que les index de section.
- Les index de section suivent la rotation. Numéros de stock, parc en cour, capacités, territoire et arborescence française : un index chacun, puisque chacun bouge à son rythme.
- Les fichiers d'adresses restent petits. Dimensionnés pour qu'une erreur d'analyse se limite à un fichier que vous pouvez encore ouvrir.
- Les dates doivent porter de l'information. Quand la compilation nocturne estampille lastmod sans égard aux modifications, la valeur cesse d'être lue.
- N'y listez que ce qu'un visiteur atteint. Redirections, numéros morts, pages en noindex et adresses canonicalisées ailleurs en sortent. Un manifeste décrivant des caisses restées à quai trompe le destinataire.
Pages qui bougent peu
Capacités, certifications, coordonnées, arborescence de catégories. Resoumises seulement après une vraie modification.
Références et remplacements
Construit depuis l'export du progiciel : une page canonique par pièce, renvois exclus.
Unités présentes en cour
Reconstruit chaque nuit. Une unité quitte le fichier le jour de sa vente ou de sa location longue.
Pages de zones desservies
Petit ensemble à faible rotation, tenu à part pour qu'une faiblesse ne se dissimule pas dans les comptes du catalogue.
Construit ainsi, le fichier cesse d'être une pièce justificative et produit des relevés. Neuf cents adresses soumises contre 240 trouvées dans l'index des références, à côté de 40 sur 44 dans celui des capacités, désigne la section défaillante.
Les quatre plafonds de l'Indexing Hub
Le Hub occupe un onglet du panneau, à côté de l'automatisation des campagnes, de l'analytique Search Console et du suivi de positions ; son mandat s'arrête où commence le classement. La visite guidée du panneau Semalt montre comment un compte unique et des étiquettes partagées couvrent l'ensemble. Quatre chiffres définissent ce qu'il accepte.
Débit quotidien, taille de lot, profondeur d'analyse, travaux parallèles
Bâtissez là-dessus le calendrier d'envoi d'un catalogue de 40 000 pages et rien ne vous surprendra.
- Le traqueur déplace 1 000 URL par jour. L'allocation appartient au compte et expire si elle n'est pas utilisée. Sauter la fin de semaine ne donne pas un lundi à 3 000.
- Un lot peut porter 10 000 URL. Cela règle ce que vous remettez d'un coup, pas la vitesse : un lot complet fait dix jours de traitement.
- L'analyse suit trois niveaux d'imbrication. Fournissez le fichier ou l'adresse ; les index dans les index sont parcourus, jusqu'à 1 000 sitemaps par travail.
- Deux travaux ensemble, vingt en attente. Aucun élargissement n'est possible, donc une migration de catalogue s'ordonne à l'avance au lieu d'être jetée au Hub.
La transmission passe par l'API IndexNow, qui annonce à GoogleBot et à BingBot qu'une adresse est nouvelle ou modifiée. C'est tout le protocole : il raccourcit l'attente avant la première visite, et s'arrête là.
Lire honnêtement un lot terminé
Le Hub tient un relevé par URL : quel robot est passé, avec horodatage, le statut renvoyé et le détail de l'erreur. Des compteurs en direct des adresses soumises, trouvées et échouées l'accompagnent. Seule partie du processus à produire des preuves.
| Ce que montre le relevé | Ce que cela veut dire | Quoi faire ensuite |
|---|---|---|
| Soumise, aucune visite de robot | Avis envoyé, pas encore de chargement. Normal quelques jours, pas quelques semaines | Attendre un cycle, puis vérifier le maillage |
| Visitée, statut 200, non indexée | Chargée puis écartée. Un jugement a été rendu | Cesser de soumettre. Regarder la duplication par renvois et la maigreur |
| Visitée, 404 ou 410 | Une unité retirée ou une référence abandonnée est entrée dans le lot | Corriger l'export qui construit le lot |
| Visitée, 5xx ou expiration | Le serveur a cédé sous la charge d'exploration | Infrastructure. Resoumettre dans le même état aggrave le cas |
| Beaucoup de trouvées, demandes inchangées | Ce sont les mauvaises pages qui sont indexées | Vérifier dans la Search Console quelles pages captent les requêtes techniques |
La dernière ligne surprend. Douze mille pages indexées n'est pas un résultat ; un planificateur qui cherche un numéro exact, tombe sur la bonne page et envoie une demande, oui. L'analytique Search Console attenante ferme la boucle : le Hub confirme qu'une page a été atteinte, l'analytique dit si elle attire les bonnes requêtes.
Où une file de soumission aide, et où elle ne peut rien
La soumission est la dernière étape, non la première. Lancez-la avant d'avoir mis le site en ordre et vous obtiendrez un compte rendu documenté de votre propre duplication.
- Coupez le bruit d'abord. Fermez les états de filtre, ramenez les renvois sur une page canonique par pièce, retirez les unités vendues. Le gain principal est ici.
- Refaites ensuite le manifeste. Reconstruisez l'arborescence pour n'y lister que des adresses canoniques vivantes, avec des dates honnêtes, découpées par rythme de changement.
- Soumettez ensuite, par priorité. À 1 000 par jour, l'ordre est une décision. Les remplacements récents et le stock courant passent avant l'archive.
- Vérifiez enfin contre la demande. Regardez quelles pages indexées reçoivent des requêtes portant numéros, capacités ou spécifications de matériaux. Le reste est de l'inventaire.
La part que vous exécutez vous-même est une autre question. AutoSEO, à 149 $ US par mois et par domaine, mène la recherche de mots-clés, la création de liens et les suggestions sur le site en parallèle du Hub ; FullSEO, à 500 $ US, ajoute la sélection manuelle des mots-clés, le placement de liens visant une autorité de domaine donnée et une révision humaine avant mise en ligne. Là où une balise canonique fautive coûte une ligne de produits, cette révision paie son prix. Stream, l'assistant de My SEO, accepte des listes d'URL et de mots-clés en lot.
Les questions qui viennent en premier
Combien de temps avant qu'une page soumise soit trouvée ?
Aucun délai n'est garanti. Établissez votre référence : soumettez un lot, notez combien ont été visitées à quatorze jours puis à trente, et recommencez. Après trois lots, un lot lent devient une exception plutôt qu'un soupçon.
Nous avons 38 000 références. Faut-il toutes les soumettre ?
Rarement. Découpez par valeur commerciale : numéros de stock courants, remplacements actifs et tout ce qui porte une demande passent dans la file. Les numéros abandonnés sans remplaçant restent publiés sans consommer de budget. À 1 000 par jour, le catalogue entier fait trente-huit jours, la plupart sur des pages que personne ne cherche.
Le sitemap est-il utile si nous soumettons directement les URL ?
Oui. La soumission directe est un avis ponctuel sur une adresse. Le sitemap est la déclaration permanente de ce que le site contient, consultée au rythme du moteur, et la seule structure qui montre la section qui traîne.
Nos unités de parc se vendent avant d'être indexées. Est-ce réglable ?
En partie. Soumettez chaque unité le jour de sa mise en ligne plutôt qu'en lot mensuel, et reconstruisez le sitemap du parc chaque nuit pour que les unités vendues en sortent aussitôt. Cela ne battra pas toujours un cycle de vente de deux semaines. Pour du stock rapide, les pages de catégorie et de capacités comptent davantage : elles durent assez pour accumuler de l'autorité.
Soumettre plusieurs fois la même URL accélère-t-il quelque chose ?
Non, et cela dépense un budget qu'une page jamais visitée aurait pu utiliser. Si une adresse a été chargée puis abandonnée, la contrainte est la page. Resoumettre revient à renvoyer un bon de livraison pour une caisse déjà refusée.
Le calcul final, et une première semaine
Rassemblez les nombres d'un distributeur réaliste : 38 000 pages de pièces, 1 400 fiches de parc, 340 pages de capacités et 210 pages de zones desservies, soit environ 40 000 adresses. À 1 000 par jour, quarante jours de budget ininterrompu, avant toute nouvelle publication.
Appliquez maintenant un filtre de priorité. Les références portant une demande, les remplacements actifs, les unités en cour, les pages de capacités et les zones qui génèrent des demandes font environ 6 500 adresses : sept jours au lieu de quarante. Les 33 500 autres sont de l'archive, publiée et maillée, sans droit à un créneau.
Ce qu'il faut faire avant de soumettre quoi que ce soit
L'ordre compte plus que le volume : trois des cinq étapes précèdent le premier lot.
- Comptez les adresses produites par vos logiciels. Explorez votre propre site et comparez le total au compte du gestionnaire de contenu. L'écart, ce sont les filtres et les renvois sans surveillance.
- Écrivez la règle de retrait. Décidez ce que deviennent une unité vendue et une référence abandonnée — 410, 301 ou remplacement — et automatisez-la dans le traitement de publication.
- Reconstruisez l'arborescence de sitemaps. Un index, des index de section découpés par rythme de changement, des fichiers d'adresses assez petits pour être lus.
- Soumettez l'ensemble prioritaire, pas le catalogue. Une semaine de budget sur les pages qui précèdent une demande de soumission ; gardez le reste.
- Relisez le lot à quatorze et à trente jours. Notez soumises, trouvées et absentes. Ce tableau est votre référence, et il vaut mieux qu'un étalon externe.
Rien de tout cela n'est spectaculaire ; on est plus près de la gestion des stocks que du marketing, ce qui explique qu'on le saute là où il compte le plus. Un donneur d'ordre qui cherche un numéro exact est le visiteur le plus qualifié qu'un distributeur verra, et elle dépend de ce qu'un robot ait su que la page existait.
Pour voir vos chiffres plutôt que ceux-ci, ouvrez un compte sur le tableau de bord Semalt et enregistrez le domaine : en une journée, le Hub rapporte les compteurs de soumises, trouvées et échouées sur votre catalogue, et ce premier relevé met fin au débat sur le mécanisme en cause.
