数据提取之JSON与JsonPATH

JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。

import jsonstrList = ‘[1, 2, 3, 4]‘strDict = ‘{"city": "北京", "name": "大猫"}‘json.loads(strList) # [1, 2, 3, 4]json.loads(strDict) # json数据自动按Unicode存储# {u‘city‘: u‘\u5317\u4eac‘, u‘name‘: u‘\u5927\u732b‘}

import jsonimport chardetlistStr = [1, 2, 3, 4]tupleStr = (1, 2, 3, 4)dictStr = {"city": "北京", "name": "大猫"}json.dumps(listStr)# ‘[1, 2, 3, 4]‘json.dumps(tupleStr)# ‘[1, 2, 3, 4]‘# 注意：json.dumps() 序列化时默认使用的ascii编码# 添加参数 ensure_ascii=False 禁用ascii编码，按utf-8编码# chardet.detect()返回字典, 其中confidence是检测精确度json.dumps(dictStr) # ‘{"city": "\\u5317\\u4eac", "name": "\\u5927\\u5218"}‘chardet.detect(json.dumps(dictStr))# {‘confidence‘: 1.0, ‘encoding‘: ‘ascii‘}print json.dumps(dictStr, ensure_ascii=False) # {"city": "北京", "name": "大刘"}chardet.detect(json.dumps(dictStr, ensure_ascii=False))# {‘confidence‘: 0.99, ‘encoding‘: ‘utf-8‘}

import jsonlistStr = [{"city": "北京"}, {"name": "大刘"}]json.dump(listStr, open("listStr.json","w"), ensure_ascii=False)dictStr = {"city": "北京", "name": "大刘"}json.dump(dictStr, open("dictStr.json","w"), ensure_ascii=False)4. json.load()

import jsonstrList = json.load(open("listStr.json"))print strList# [{u‘city‘: u‘\u5317\u4eac‘}, {u‘name‘: u‘\u5927\u5218‘}]strDict = json.load(open("dictStr.json"))print strDict# {u‘city‘: u‘\u5317\u4eac‘, u‘name‘: u‘\u5927\u5218‘}

import requests# json解析库，对应到lxmlimport json# json的解析语法，对应到xpathimport jsonpathurl = "http://www.lagou.com/lbs/getAllCitySearchLabels.json"headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}response = requests.get(url=url,headers=headers)# ?取出json文件里的内容，返回的格式是字符串html = ?response.text# 把json形式的字符串转换成python形式的Unicode字符串unicodestr = json.loads(html)# Python形式的列表city_list = jsonpath.jsonpath(unicodestr, "$..name")# dumps()默认中文为ascii编码格式，ensure_ascii默认为Ture# 禁用ascii编码格式，返回的Unicode字符串，方便使用array = json.dumps(city_list, ensure_ascii=False)with open("lagoucity.json", "w",encoding=‘utf-8‘) as f: ???f.write(array)

# 这是一个 UTF-8 编码的字符串utf8Str = "你好地球"# 1. 将 UTF-8 编码的字符串 转换成 Unicode 编码unicodeStr = utf8Str.decode("UTF-8")# 2. 再将 Unicode 编码格式字符串 转换成 GBK 编码gbkData = unicodeStr.encode("GBK")# 1. 再将 GBK 编码格式字符串 转化成 UnicodeunicodeStr = gbkData.decode("gbk")# 2. 再将 Unicode 编码格式字符串转换成 UTF-8utf8Str = unicodeStr.encode("UTF-8")

from bs4 import BeautifulSoupimport requestsimport timedef captcha(captcha_data): ???with open("captcha.jpg", "wb") as f: ???????f.write(captcha_data) ???text = input("请输入验证码：") ???# 返回用户输入的验证码 ???return textdef zhihuLogin(): ???# 构建一个Session对象，可以保存页面Cookie ???sess = requests.Session() ???# 请求报头 ???headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} ???# 首先获取登录页面，找到需要POST的数据（_xsrf)，同时会记录当前网页的Cookie值 ???html = sess.get("https://www.zhihu.com/#signin", headers = headers).text ???# 调用lxml解析库 ???bs = BeautifulSoup(html, "lxml") ???# _xsrf 作用是防止CSRF攻击（跨站请求伪造)，通常叫跨域攻击，是一种利用网站对用户的一种信任机制来做坏事 ???# 跨域攻击通常通过伪装成网站信任的用户的请求(利用Cookie)，盗取用户信息、欺骗web服务器 ???# 所以网站会通过设置一个隐藏字段来存放这个MD5字符串，这个字符串用来校验用户Cookie和服务器Session的一种方式 ???# 找到name属性值为 _xsrf 的input标签，再取出value 的值 ???_xsrf = bs.find("input", attrs={"name":"_xsrf"}).get("value") ?? # 根据UNIX时间戳，匹配出验证码的URL地址 ???captcha_url = "https://www.zhihu.com/captcha.gif?r=%d&type=login" % (time.time() * 1000) ???# 发送图片的请求，获取图片数据流， ???captcha_data = sess.get(captcha_url, headers = headers).content ???# 获取验证码里的文字，需要手动输入 ???text = captcha(captcha_data) ???data = { ???????"_xsrf" : _xsrf, ???????"email" : "123636274@qq.com", ???????"password" : "ALARMCHIME", ???????"captcha" : text ???} ???# 发送登录需要的POST数据，获取登录后的Cookie(保存在sess里) ???response = sess.post("https://www.zhihu.com/login/email", data = data, headers = headers) ???#print response.text ???# 用已有登录状态的Cookie发送请求，获取目标页面源码 ???response = sess.get("https://www.zhihu.com/people/maozhaojun/activities", headers = headers) ???with open("my.html", "w") as f: ???????f.write(response.text.encode("utf-8"))if __name__ == "__main__": ???zhihuLogin()