python实现爬虫遇到编码问题：
error：UnicodeEncodeError: ‘gbk‘ codec can‘t encode character ‘\xXX‘ in position XX
解决办法：改变标准输出
from urllib import requestimport ioimport syssys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding=‘gb18030‘) #改变标准输出的默认编码req=request.Request(‘http://www.baidu.com‘)req.add_header(‘User-Agent‘,‘Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36‘)resp=request.urlopen(req)print(resp.read().decode(‘UTF-8‘))
添加页面中 标注红色的代码即可
ps：
1.str转bytes叫encode，bytes转str叫decode
2.常用的中文编码名称
参考文章：http://blog.csdn.net/jim7424994/article/details/22675759
UnicodeEncodeError: 'gbk' codec can't encode character '\xbb' in position
原文地址：http://www.cnblogs.com/baker95935/p/7649770.html