分享web开发知识

注册/登录|最近发布|今日推荐

主页 IT知识网页技术软件开发前端开发代码编程运营维护技术分享教程案例
当前位置:首页 > 前端开发

临时处理小记:把Numpy的narray二进制文件转换成json文件

发布时间:2023-09-06 02:07责任编辑:赖小花关键词:jsjson

临时处理一个Numpy的二进制文件,分析知道里面是dict类型,简单小记一下,如果Numpy和Python基础不熟悉可以看我之前写的文章

In [1]:
%%timeimport numpy as np
 
Wall time: 135 ms
In [2]:
%%timeimport pandas as pd
 
Wall time: 351 ms
In [3]:
%%timedf = pd.DataFrame(np.load("data.npy")) # 通过narry创建DataFrame
 
Wall time: 910 ms
In [4]:
%%timedf.head(10) # 快速预览前10行
 
Wall time: 1 ms
Out[4]:
 
 0
0{‘email‘: ‘liurh@csdn.net‘, ‘pwd‘: ‘9755DD0556...
1{‘email‘: ‘fw19@sina.com‘, ‘pwd‘: ‘6BB518D1A42...
2{‘email‘: ‘whcheng@126.com‘, ‘pwd‘: ‘0079ABBA6...
3{‘email‘: ‘zh4ang@163.com‘, ‘pwd‘: ‘E23E561F02...
4{‘email‘: ‘johnzhou8888@yahoo.com.cn‘, ‘pwd‘: ...
5{‘email‘: ‘zaza902@hotmail.com‘, ‘pwd‘: ‘9B084...
6{‘email‘: ‘yuping_zhong@163.com‘, ‘pwd‘: ‘7D07...
7{‘email‘: ‘annnntning@sina.com‘, ‘pwd‘: ‘448A2...
8{‘email‘: ‘sunnydinasun@sohu.com‘, ‘pwd‘: ‘DBF...
9{‘email‘: ‘ysmrose@sohu.com‘, ‘pwd‘: ‘22DDD26D...
In [5]:
%%time# 提取email列df[‘Email‘] = df[0].map(lambda x : dict(x)["email"])# 提取pwd列df[‘MD5‘] = df[0].map(lambda x : dict(x)["pwd"] )# 删除无用列del df[0]
 
Wall time: 1.05 s
In [6]:
%%timedf.size # 查看总共多少数据
 
Wall time: 0 ns
Out[6]:
2097148
In [7]:
%%timedf.shape
 
Wall time: 0 ns
Out[7]:
(1048574, 2)
In [8]:
%%timedf.head(10)
 
Wall time: 0 ns
Out[8]:
 
 EmailMD5
0liurh@csdn.net9755DD05564EAD9EADCACE40B5A02711
1fw19@sina.com6BB518D1A42F22DA5CA62D5EE41C5D4F
2whcheng@126.com0079ABBA66856DAFDF2B9A6E0DB23A09
3zh4ang@163.comE23E561F0202ACECA30B8F07A48AB8E9
4johnzhou8888@yahoo.com.cn0EB1A2DB91A2BF3FB6275DE659A25805
5zaza902@hotmail.com9B08473C992C07E98389ED1C280A634A
6yuping_zhong@163.com7D0710824FF191F6A0086A7E3891641E
7annnntning@sina.com448A2BCEE09A3B14C22DC000351216B7
8sunnydinasun@sohu.comDBFBA02E366BAB58DF605D6475189A51
9ysmrose@sohu.com22DDD26D62AF8B1C4A216BE18FDFF5B2
In [9]:
%%timedf.T.to_json("user.json") # 重新保存为Json(转置只是为了存储成我们常见的json格式)
 
Wall time: 2.85 s

临时处理小记:把Numpy的narray二进制文件转换成json文件

原文地址:https://www.cnblogs.com/dotnetcrazy/p/9403230.html

知识推荐

我的编程学习网——分享web前端后端开发技术知识。 垃圾信息处理邮箱 tousu563@163.com 网站地图
icp备案号 闽ICP备2023006418号-8 不良信息举报平台 互联网安全管理备案 Copyright 2023 www.wodecom.cn All Rights Reserved