1、读取全部网页
1 #encoding:utf-82 3 import urllib24 def download1(url):5 ????return urllib2.urlopen(url).read() #读取全部网页6 7 url="http://www.baidu.com" #urlopen只能处理http 不能处理https8 print download3(url)
2、读取每一行的数据，压入列表
1 #encoding:utf-82 3 import urllib24 5 def download2(url):6 ????return urllib2.urlopen(url).readlines() #读取每一行的数据，压入列表7 8 url="http://www.baidu.com" #urlopen只能处理http 不能处理https9 print download2(url)
3、网页抽象为文件
1 #encoding:utf-8 2 import urllib2 3 ?4 def download3(url): 5 ????response=urllib2.urlopen(url)#网页抽象为文件 6 ????while True: 7 ????????line=response.readline()#读取每一行 8 ????????if not line: 9 ????????????break10 ????????print line11 12 url="http://www.baidu.com" #urlopen只能处理http 不能处理https13 print download3(url)
读取网页的方法-爬虫学习
原文地址：https://www.cnblogs.com/klmyoil/p/9759812.html