Un forfait de trafic s'épuise presque toujours plus vite que prévu par le budget, et presque jamais à cause d'un prix au gigaoctet trop élevé. La raison est simple : on calcule la consommation par tâche, alors qu'on dépense en fonction du chargement réel de la page. Entre une requête texte et une page avec images en pleine résolution et vidéo, l'écart est d'un ordre de grandeur. Voyons d'où vient le dépassement, comment l'estimer à l'avance et que faire lorsque la limite est atteinte en plein travail.

Pourquoi un forfait de gigaoctets s'épuise soudainement

Le raisonnement « cent pages, donc peu de trafic » s'effondre dès la première fiche avec des images : une page de catalogue en texte pèse 0,3 à 1 Mo, alors qu'une fiche produit avec des photos en pèse déjà 2 à 5, soit plusieurs fois plus. Un fil de contenu avec lecture automatique des vidéos ajoute encore des dizaines de mégaoctets par minute, même si personne ne regarde ces vidéos jusqu'au bout. Mille vérifications de fiches produit représentent déjà 3 à 5 Go, et non un simple « millier de requêtes », comme le pensent la plupart des débutants.

Seconde source de consommation discrète : les chargements annexes. Polices, traceurs d'analyse, scripts publicitaires et préchargement des pages voisines consomment du trafic même lorsque l'automatisation ne s'adresse qu'à une seule URL. Ces octets n'apparaissent pas dans le journal des requêtes, mais ils sont décomptés du même forfait.

Suivre la consommation de votre côté

Se fier au tableau de bord du fournisseur du canal ne suffit pas : la consommation n'y apparaît qu'après coup, généralement avec un décalage, et sans détail par tâche ou par script. Un compteur personnel, placé au niveau du client HTTP ou d'une surcouche du proxy, comptabilise les octets de chaque requête et montre immédiatement quelle partie de l'automatisation consomme le plus.

Quelques repères pour la planification : mille pages de texte représentent environ 1 Go, cent fiches produit avec images 0,3 à 0,5 Go, et la surveillance quotidienne de cent pages 1,5 à 3 Go par mois. Comparer la consommation réelle à ces chiffres montre vite quelle tâche sort du cadre prévu. Les autres métriques du canal se vérifient de la même façon, comme l'explique l'article comment vérifier la qualité d'un proxy.

Des limiteurs stricts dans l'automatisation

Un contrôle souple, c'est-à-dire une notification en cas de dépassement, ne fonctionne qu'une fois le trafic déjà dépensé. Le contrôle strict se place au niveau du script lui-même : nombre maximal de requêtes par session ou par heure, et poids maximal d'une réponse. Si une page renvoie un corps plus volumineux que prévu, la connexion est coupée au lieu d'être téléchargée en entier. Cette même règle couvre le cas d'un chargement vidéo bloqué ou d'un fichier multimédia ouvert par erreur à la place du HTML.

Il convient aussi de bloquer le chargement des images, des polices et des traceurs partout où l'automatisation n'a pas besoin du rendu visuel : c'est ainsi que l'on économise, et non en choisissant le canal le moins cher. Les sessions interrompues et les nouvelles tentatives sur un canal instable coûtent plus cher que les gigaoctets économisés. Vous trouverez une analyse des fausses économies sur le canal dans l'article proxys bon marché ou chers.

Des alertes à chaque seuil

Une notification envoyée au moment où le forfait est épuisé est inutile : la tâche est déjà à l'arrêt. Ce qui fonctionne, ce sont des alertes par paliers : un avertissement à 70-80 % du quota laisse le temps de recharger le solde ou de ralentir les processus de fond, et un seuil de 95 % signale qu'il faut mettre en pause les tâches non critiques jusqu'à la prochaine recharge. Ces seuils se configurent dans votre propre suivi de consommation, sans attendre qu'ils viennent du fournisseur du canal.

Répartition des quotas et plan pour le cas où le trafic est épuisé

Un forfait de trafic commun à toutes les tâches et à tous les collaborateurs conduit presque inévitablement à ce qu'un processus sans limite, par exemple une boucle de rotation oubliée via l'API, consomme le quota nécessaire à une tâche prioritaire. La bonne pratique consiste à diviser le volume en sous-quotas par tâche ou par personne, même s'il s'agit physiquement d'un seul et même forfait de Go chez le fournisseur.

Lorsque le quota est tout de même épuisé en plein travail, la marche à suivre est simple : arrêter en premier les tâches de fond et non urgentes, ne conserver que le processus critique, recharger du trafic pour la tâche concernée plutôt que pour le pool commun, et noter quel script a dépassé l'estimation. Sinon, le dépassement se reproduira au cycle suivant.

Questions fréquentes

Peut-on calculer à l'avance la consommation exacte de trafic pour une tâche ?

Pas de façon exacte, mais avec une marge d'erreur de 20 à 30 %, oui, à condition de compter non pas le nombre de requêtes, mais le type de pages : texte, avec images, avec vidéo. Une première semaine avec le suivi activé de votre côté fournit des chiffres réels pour la tâche concernée.

Que choisir en cas de consommation imprévisible : une adresse dédiée ou un paiement au trafic ?

Une adresse dédiée de centre de données ou ISP est facturée chaque mois à montant fixe, quel que soit le volume. Pour les tâches dont le trafic est imprévisible mais sans exigence de géolocalisation, elle supprime donc le risque de dépassement. Les canaux résidentiels et mobiles sont facturés au gigaoctet, avec attribution de l'adresse par session : ici, le contrôle compte plus que le choix du tarif.

Comment distinguer une consommation normale d'une consommation anormale ?

Une anomalie est un pic brutal par rapport à votre propre moyenne des jours précédents, et non le dépassement d'un chiffre absolu. Si une tâche consomme habituellement 1 Go par jour et que 2 Go partent en une heure, c'est une raison d'arrêter le processus et de vérifier les journaux, et non de deviner à partir de pages isolées.

Les tarifs au trafic et les adresses dédiées au mois figurent dans le catalogue de proxys ; vous pouvez aussi y répartir les pools selon les tâches et configurer des limites côté compte.