「这是我参与2022首次更文挑战的第16天,活动详情查看:2022首次更文挑战」。
前面我们讲了重复值是怎么处理的,今天就来说说缺失值。缺失值主要分为机械原因和人为原因。approve机械原因就是存储器坏了,机器故appetite障等等原因导致某段时间未能收集到数据。人为原因的情况种类就更多了,如刻意隐瞒等等。
先appearance构建一个含有缺失值的DataAPPFrame,如下:
import pandas as pd
import numpy as np
data = pd.DataFrame([[1,np.nan,3],[np.nan,5,np.nan]],columns = ['a','b','c'])
print(data)
看出来了吗?np.nan就是NAN值,空值的意思。
在numpy中有一个函数可以用来查看空值,不对,是两个,isnull()和isna()这两函数。我们分别来试试它们的效果:
import pandas as pd
import numpy as np
data = pd.DataFrame([[1,np.nan,3],[np.nan,5,np.nan]],columns = ['a','b','c'])
data.isnull()
data.isna()
可以看出,这两函数的作用就是判断数据是不是空值,如果是,就返回applicationtrue,不是就是false。
通常,对空值的approach处理有两种方法,一种就是把空值删除,另外一种就是把它填上,我们先说第一种,删除空值,我们可以dropna()这一函数来把空值删除。要注意,它会把含有空值的整行都删掉。例如:
import pandas as pd
import numpy as np
data = pd.DataFrame([[1,np.nan,3],[np.nan,5,np.nan]],columns = ['a','b','c'])
data.dropna()
上面的例子用了drop函数后,啥都没啦!
我们apple可以设置当每行空值多余2个时再删除(低于2个保留),这时候要用到appstoredropna()的参数thresh。
补充空值的话有挺多的方法,有用均值补充,中位数补充等,我们要用到fillna()这一函数。例如,apple我们用均值来填充approach上文中的data,代码如下:
import pandas as pd
import numpy as np
data = pd.DataFrame([[1,np.nan,3],[np.nan,5,np.nan]],columns = ['a','b','c'])
data.fillna(data.mean())
代码运行的结果如下,可以看到空值都被对应列的均值所填充。