分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 教程案例

urllib库爬虫技术从0开学习

发布时间:2023-09-06 02:16责任编辑:彭小芳关键词:url爬虫

urllib库

urllib库是pytho中一个最基本网络请求库。可以模拟浏览器的行为,向指定的服务器发送一个请求,并可以保存服务器返回的数据。

urllopen函数

在python的urllib库中,有什么函数供我们使用,所以请求相关的方法都集成到urllib.request模块下以面了,先看urlopen函数基础使用:

from urllib import requestresp = request.urlopen(‘http://www.baidu.com‘)print(resp.read())
View Code

事实上,使用浏览器访问百度右键查看源代码,你会发现跟我们刚才打印出来的数据是一模一样的,也就是说上面三行代码就已经帮我们把百度首页的全部代码全部扒下来,,一个基本的url对应的python真的非常简单,,

以下对urllopen函数的进行详细讲解:
1 ?url: ?请求的url
2 data : ?请求的data,如果设置了这个值,那么将变成post请求
3 ?返回值:返回值是一个http.client.HTTPRespons对象,这个对象是一个类文件句柄有read(size),readline,readlines ?以及getcode等方法

urllib库爬虫技术从0开学习

原文地址:https://www.cnblogs.com/fgxwan/p/9739435.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved