博客
关于我
chapter.数据清洗1.2
阅读量:517 次
发布时间:2019-03-07

本文共 2318 字,大约阅读时间需要 7 分钟。

1.3填充缺失值

当数据量不够或者其他部分信息很重要的时候,就不能删除数据了,这时需要对缺失值进行填充,通过fillna方法可以将缺失值替换为常数值。
例:

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)

在这里插入图片描述

使用fillna方法填充

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)data.fillna(0)#全部填充为0

在这里插入图片描述

当然在fillna中传入字典结构数据,可以针对不同列填充不同的值,fillna返回的是新对象,不会对原数据进行修改,可通过inplace就地进行修改。
例:

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)data.fillna({   1:6,3:0})

在这里插入图片描述

还可以通过平均值来作为填充数

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame(np.arange(12).reshape(3,4))display(data)#对数据进行处理,即创建一些为缺失值的数据data.loc[1,:]=np.nandata[2]=np.nandisplay(data)data.fillna(method='ffill')

在这里插入图片描述

2.移除重复数据
在爬取的数据中往往会出现重复数据,对于重复数据保留一份即可,其余可以移除,在DataFrame数据中,通过duplicated方法判断各行是否有重复数据。

data=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})
import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})display(data)data.duplicated()

在这里插入图片描述

通过drop_duplicates方法,可以删除多余的重复项

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})display(data)data.drop_duplicates()

在这里插入图片描述

很显然这种情况下当每行的每个字段都相同时才会判断出为重复,这时可以通过指定部分作为判断重复项的依据。

import pandas as pdimport numpy as npfrom pandas import Series,DataFramefrom IPython.display import displaydata=DataFrame({       '姓名':['小敏','晓明','小强','小红','晓明'],    '年龄':['女','男','男','女','男'],    '地址':['北京','南京','上海','广州','南京']})display(data)data.drop_duplicates('年龄')

在这里插入图片描述

从结果可以看出,保留的数据为第一次出现的组合。传入keep=‘last’可以保留最后一个。

转载地址:http://hrynz.baihongyu.com/

你可能感兴趣的文章
mysql查询总成绩的前3名学生信息
查看>>
mysql查询慢排查
查看>>
MySQL查询报错ERROR:No query specified
查看>>
mysql查询数据库储存数据的占用容量大小
查看>>
MySQL查询数据库所有表名及其注释
查看>>
MySQL查询数据表中数据记录(包括多表查询)
查看>>
MySQL查询结果排序
查看>>
MYSQL查询语句优化
查看>>
mysql查询语句能否让一个字段不显示出来_天天写order by,你知道Mysql底层执行原理吗?
查看>>
MySQL查询语句:揭秘专家秘籍,让你秒变数据库达人!
查看>>
mysql查询超时对PHP执行的影响
查看>>
mysql查询输出到excel文件_如何保存mysql查询输出到excel或.txt文件?
查看>>
mysql查询过程
查看>>
MySQL模拟Oracle序列sequence
查看>>
Mysql模糊查询like效率,以及更高效的写法
查看>>
MySQL死锁套路:一次诡异的批量插入死锁问题分析
查看>>
Mysql死锁问题Deadlock found when trying to get lock;try restarting transaction
查看>>
mysql每个数据库的最大连接数_MySQL数据库最大连接数
查看>>
Mysql流程控制结构,if函数、case结构、if结构、循环结构
查看>>
mysql添加外网访问权限
查看>>