Accept-Language
"Accept-Language": "zh-CN,zh;q=0.9"
Host
"Host": "m.douban.com",某些网站会导致请求得到的页面是首页,非自己请求的页面。
Accept-Encoding
"Accept-Encoding": "gzip, deflate, br",压缩格式传输,爬虫请求时带有Accept-Encoding需要对respone做解压缩处理,否则解码是乱码。
可以请求时候省略Accept-Encoding
"Accept-Language": "zh-CN,zh;q=0.9"
"Host": "m.douban.com",某些网站会导致请求得到的页面是首页,非自己请求的页面。
"Accept-Encoding": "gzip, deflate, br",压缩格式传输,爬虫请求时带有Accept-Encoding需要对respone做解压缩处理,否则解码是乱码。
可以请求时候省略Accept-Encoding