分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 教程案例

爬取动态网页中关于构造浏览器头的注意事项

发布时间:2023-09-06 02:06责任编辑:顾先生关键词:浏览器

在原来爬取动态网页图片中,获取到了图片的实际地址,但是下载下来的图片是损坏的,究其原因,是服务器端阻止了访问,但是观察发现

headers = {‘User-Agent‘: random.choice(UserAgent_List), ??????????‘Accept‘: "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8", ??????????‘Accept-Encoding‘: ‘gzip‘, ??????????}

浏览器头已经构造好了。原因是什么?

实际上,动态网页是从原网页指向图片服务器的,所以在浏览器头中需要加上原来的地址,伪造出是从浏览器跳转的效果。

爬取动态网页中关于构造浏览器头的注意事项

原文地址:https://www.cnblogs.com/qian-lu/p/9372641.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved