RSS Feed
更好更安全的互联网

关于 Content-Encoding: gzip

2012-04-20

背景
===
如果你的网页抓取程序(例如爬虫)在抓取网页时没有发送 Accept-Encoding: gzip,那么你 out 了:
因为今天超过  99% 的网页抓取程序都会声明支持 gzip (或 deflate) 编码。

如果你的程序属于这 99%,那么恭喜,但别高兴的太早。 你的程序是否正确处理了 Content-Encoding: gzip?

问题
===
典型的处理 Content-Encoding: gzip 的代码片段 (python):

html_data = GzipFile(fileobj=StringIO(html_data), mode="r").read()

假设 html_data 为 Web 服务器返回的Content-Encoding 为 gzip 的数据。

那么在大多数情况下,上述代码都能正确处理。 但很不幸,你会发现,对有些 url,浏览器可以正常显示内容,
但是你的网页抓取程序会出错!

分析
===
不是所有 Web 服务器(或应用)都是遵纪守法的公民。 极少数应用,会在 gzip 压缩后的数据后面,添加一些“尾巴”数据。
一些数据解压模块(如Python 的 GzipFile 模块)在这种情况下会出现处理异常。

例外的是浏览器。它们充分体会和考虑到了现实世界的复杂,会自动抛弃多出的“尾巴”,正常解压和处理页面数据。

解决
===
Python GzipFile 模块有个未公开属性: extrabuf, 负责保存已经成功解压的数据。 因此,下面的代码有更好的兼容性:

作者:lgx | Categories:技术分享 | Tags:

4条评论

  1. Lunny Xiao说道:

     不错。

  2. knownsec说道:

    thx帮助解决了一个疑惑

  3. Hysia说道:

    就是这个!让gzip来得更猛烈些吧。我看到网上还有人直接去修改系统的gzip.py 把校验crc的判断去掉来处理解压失败的情况,还是这样写比较V5啊

发表评论