住宅与移动代理按流量计费,加载什么、压缩什么、缓存什么,比选最便宜的代理通道更能决定账单。下面梳理优先禁用什么、压缩如何生效、为什么需要跨运行缓存,以及省流手段从哪一步开始破坏检测本身。

禁用图片、字体、视频与追踪脚本

四类资源贡献了大部分节省。图片是商品页最重的一项,每页 2–5 MB。字体单个不重,但成批加载——几个字族就能给每页增加一兆多。自动播放视频是单独一类:每分钟消耗数十兆,不停播放的信息流比其他元素更快吃掉流量。追踪与广告脚本本身很轻,却会带出几十个指向第三方域名的额外请求。

禁用可在自动化工具层配置——按资源类型(image、media、font)或按已知分析与广告网络的域名拦截请求。对只需文本的任务——价格、库存、状态——禁用这四类资源不影响结果,因为数据在 HTML 或 API 响应中,而不在媒体文件本身。

响应压缩

带 gzip、deflate、br 的 Accept-Encoding 请求头告诉服务器客户端接受压缩响应;多数服务器压缩文本格式——HTML、JSON、CSS、JS——但不处理 JPEG、MP4 这类已压缩格式,因为再压缩没有收益。结论:压缩主要在文本页和 API 响应上省流量,对含图片页面帮助有限,主要体积本就是压不动的媒体。

代理通道本身不压缩流量——压缩由服务器与客户端配置。代理在这里是被动角色:它原样转发响应,无论是否压缩过,所以压缩带来的节省不会替代禁用媒体的节省,而是与之叠加。

多次运行间的缓存与避免重复加载页面

每次运行都从干净档案启动的自动化,会重新下载自上次运行以来未变化的静态资源——字体、库脚本、CSS。跨运行复用的持久缓存目录消除了这种浪费:重复文件由浏览器从本地磁盘读取,而不再通过代理请求。

另一半节省来自同一任务中不重复请求同一页面。带 If-Modified-Since 与 If-None-Match 的条件请求,能让服务器在页面未变化时返回无正文的 304 状态——重复监控中几乎省下未变化页面的全部流量。把代理接入方式嵌入自动化脚本的做法,见浏览器自动化代理:连接方式与流量控制

如何用真实任务测算「前后」节省

节省效果应在固定页面集合的真实任务上评估,而非合成测试。「之前」一轮:默认设置,全部资源加载,账户中记录本轮流量。「之后」一轮:同样页面集合,开启媒体拦截与缓存,用同一流量计数器。两次数字之差就是该任务的实际节省,而非别人案例的平均值。

不仅要核对流量总量,还要核对失败请求与重试次数:如果流量下降的同时重试增多,部分节省会被吃回去。相关指标清单见如何检测代理质量

省流手段何时会破坏检测本身

以上每种手段都有一个临界点,过了这个点,流量节省就替代了任务本应得到的结果。如果任务本身是视觉性的——核对横幅、给店铺截图、测试自适应排版——禁用图片就会破坏检测。若内容靠 JavaScript 在初次加载后渲染,禁用脚本会让抓取失败:不执行脚本,页面就是空的。

过期缓存是另一类风险:核对当前价格或库存时,缓存响应会把昨天的数据当作最新呈现。媒体与缓存的省流手段,应在任务要检测的正是它们所掩盖的内容时关闭——动态价格、页面视觉状态,或依赖时效性的内容。用最便宜代理通道替代合理配置往往适得其反,详见廉价代理与优质代理的对比

常见问题

禁用图片和视频到底能省多少流量?

含媒体的页面上是 3 到 10 倍,取决于原有图片数量;视频信息流上是一个数量级以上,因为不加拦截的自动播放每分钟消耗数十兆。只有在自己的任务上做一次前后对比,才能得到准确数字——其他项目的平均估算不会反映你的页面结构。

已经加载的图片能通过代理实时重新压缩吗?

普通代理不会对媒体重新编码或压缩,只是原样转发服务器的响应。具备流量转换功能的服务确实存在,但那是另一类产品,不是住宅或移动代理通道本身的属性;更省钱可靠的做法是不加载结果不需要的媒体。

如何判断是缓存或媒体拦截破坏了检测,而不是单纯省了流量?

要比较任务的结果,而不只是流量大小:如果优化后得到的价格、库存或状态与手动查看网站不一致,说明省流手段触动了本该保持不变的东西。这项对比应定期进行,而不是配置时做一次就够。

按任务选择代理通道——按流量计费的住宅与移动地址,或按月计费的数据中心地址——都在代理专区提供。