1 from urllib import request2 response = request.urlopen(r‘http://python.org/‘) # <http.client.HTTPResponse object at 0x00000000048BC908> HTTPResponse类型3 page = response.read()4 page = page.decode(‘utf-8‘)

 1 url = r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘ 2 headers = { 3 ????‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ‘ 4 ??????????????????r‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3‘, 5 ????‘Referer‘: r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘, 6 ????‘Connection‘: ‘keep-alive‘ 7 } 8 req = request.Request(url, headers=headers) 9 page = request.urlopen(req).read()10 page = page.decode(‘utf-8‘)

 1 from urllib import request, parse 2 url = r‘http://www.lagou.com/jobs/positionAjax.json?‘ 3 headers = { 4 ????‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ‘ 5 ??????????????????r‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3‘, 6 ????‘Referer‘: r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘, 7 ????‘Connection‘: ‘keep-alive‘ 8 } 9 data = {10 ????‘first‘: ‘true‘,11 ????‘pn‘: 1,12 ????‘kd‘: ‘Python‘13 }14 data = parse.urlencode(data).encode(‘utf-8‘)15 req = request.Request(url, headers=headers, data=data)16 page = request.urlopen(req).read()17 page = page.decode(‘utf-8‘)

1 data = {2 ????‘first‘: ‘true‘,3 ????‘pn‘: 1,4 ????‘kd‘: ‘Python‘5 }6 data = parse.urlencode(data).encode(‘utf-8‘)

1 page = request.urlopen(req, data=data).read()

 1 def get_page(url): 2 ????headers = { 3 ????????‘User-Agent‘: r‘Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ‘ 4 ????????????????????r‘Chrome/45.0.2454.85 Safari/537.36 115Browser/6.0.3‘, 5 ????????‘Referer‘: r‘http://www.lagou.com/zhaopin/Python/?labelWords=label‘, 6 ????????‘Connection‘: ‘keep-alive‘ 7 ????} 8 ????data = { 9 ????????‘first‘: ‘true‘,10 ????????‘pn‘: 1,11 ????????‘kd‘: ‘Python‘12 ????}13 ????data = parse.urlencode(data).encode(‘utf-8‘)14 ????req = request.Request(url, headers=headers)15 ????try:16 ????????page = request.urlopen(req, data=data).read()17 ????????page = page.decode(‘utf-8‘)18 ????except error.HTTPError as e:19 ????????print(e.code())20 ????????print(e.read().decode(‘utf-8‘))21 ????return page

 1 data = { 2 ????????‘first‘: ‘true‘, 3 ????????‘pn‘: 1, 4 ????????‘kd‘: ‘Python‘ 5 ????} 6 proxy = request.ProxyHandler({‘http‘: ‘5.22.195.215:80‘}) ?# 设置proxy 7 opener = request.build_opener(proxy) ?# 挂载opener 8 request.install_opener(opener) ?# 安装opener 9 data = parse.urlencode(data).encode(‘utf-8‘)10 page = opener.open(url, data).read()11 page = page.decode(‘utf-8‘)12 return page

1.URLError

首先解释下URLError可能产生的原因：

• 网络无连接，即本机无法上网
• 连接不到特定的服务器
• 服务器不存在

在代码中，我们需要用try-except语句来包围并捕获相应的异常。下面是一个例子，先感受下它的风骚

我们利用了 urlopen方法访问了一个不存在的网址，运行结果如下：

它说明了错误代号是11004，错误原因是 getaddrinfo failed

2.HTTPError

HTTPError是URLError的子类，在你利用urlopen方法发出一个请求时，服务器上都会对应一个应答对象response，其中它包含一个数字”状态码”。举个例子，假如response是一个”重定向”，需定位到别的地址获取文档，urllib2将对此进行处理。

其他不能处理的，urlopen会产生一个HTTPError，对应相应的状态吗，HTTP状态码表示HTTP协议所返回的响应的状态。

1. URL解析模块 urlparse 

通过Python所带的urlparse模块，我们能够轻松地把URL分解成元件，之后，还能将这些元件重新组装成一个URL。当我们处理HTML 文档的时候，这项功能是非常方便的。

1.1 urlparse.urlparse 函数

此函数会将一个url字符串分解为6个元素，以元祖的形式返回。有的元素可能为空，例：

详细的返回值信息：

需要注意的是，传入的URL开头必须要有双斜杠//，否则会被认为是相对路径

1.2 urlparse.urlunparse 函数

此函数作用是把urlparse()分解的元素再拼合还原为一个url，它接收元组(scheme, netloc, path, parameters, query, fragment)后，会重新组成一个具有正确格式的URL，以便供Python的其他HTML解析模块使用。

1.3 urlparse.urlsplit 函数

类似urlparse 函数，不过它的返回列表里面不高括params

1.4 urlparse.urlunsplit 函数

和urlparse.urlsplit 对应，合成URL

1.5 urlparse.urljoin 函数

作用是将一个url替换为另一个url，例：

2. 获取html页面模块urllib

Python所带的urllib和urllib2这两个模块为我们提供了从URL打开并获取数据的功能。

若要通过urllib模块中的urlopen(url [,data])函数打开一个HTML文档，必须提供该文档的URL地址，包括文件名。函数urlopen不仅可以打开位于远程web服务器上的文件，而 且可以打开一个本地文件，并返回一个类似文件的对象，我们可以通过该对象从HTML文档中读出数据。 
 
一旦打开了HTML文档，我们就可以像使用常规文件一样使用read([nbytes])、readline()和readlines()函数来对文件进行读操作。若要读取整个HTML文档的内容的话，您可以使用read()函数，该函数将文件内容作为字符串返回。

打开一个地址之后，您可以使用geturl()函数取得被获取网页的真正的URL。这是很有用的，因为urlopen(或使用的opener对象)也许会伴随一个重定向。获取的网页URL也许和要求的网页URL不一样。

另一个常用的函数是位于从urlopen返回的类文件对象中的info()函数，这个函数可以返回URL位置有关的元数据，比如内容长度、内容类型，等等。

2.1 POST方式请求页面

2.2 使用Cookie的情况

第一次 open() 是进行登录. 服务器返回的 Cookie 被自动保存在 cookies 中, 被用在后来的请求.
第二次 open() 用 POST 方法向服务器发送了 Content-Type=text/xml 的数据. 如果你不创建一个 Request, 而是直接使用 urlopen() 方法, Python 强制把 Content-Type 改为 application/x-www-form-urlencoded.