1.什么是Urllib
它是Python内置的Http请求库
urllib.request 请求模块
urllib.error 异常处理模块
urllib.parse url解析模块
urllib.robotparser robots.txt解析模块
2.urlopen 帮助我们发送request请求
第一个参数为网站的url，第2个参数是一些额外i的数据，例如post的数据，第3个是超时的设置，其他自行百度
举个简单的例子：
3.响应
响应只要注意响应类型，状态码和响应头
例：
4.Request 用于加入一些更为复杂的信息
例：
5。设置代理
6.cookie
import http.cookiejar,urllib.requestfilename = ‘cookie.txt‘cookier = http.cookiejar.MozillaCookieJar(filename)handler=urllib.request.HTTPCookieProcessor(cookier)opener = urllib.request.build_opener(handler)response = opener.open("http://www.baidu.com")cookier.save(ignore_discard=True,ignore_expires=True) ?
# ignore_discard的意思是即使cookies将被丢弃也将它保存下来，
# ignore_expires的意思是如果cookies已经过期也将它保存并且文件已存在时将覆盖
7.异常处理
8.url解析
1.urlparse，用于解析url
2.urlunparse
用于将字符处理成url
3.urlencode 将信息加入到url中
静觅爬虫学习笔记2-urllib库的基本使用
原文地址：http://www.cnblogs.com/xinzhiyan/p/7764220.html