Python数据分析之Pandas-过滤与清理

数据重塑

移除重复数据

DataFrame中常常会出现重复行。如下面这个例子：

In [295]: data = DataFrame({'k1':['one']*3 + ['two'] * 4, 'k2':[1,1,2,3,3,4,4]})
In [296]: data
Out[296]:
    k1  k2
0  one   1
1  one   1
2  one   2
3  two   3
4  two   3
5  two   4
6  two   4

DataFrame的duplicated方法返回一个布尔型Series，表示各行是否是重复行：

In [297]: data.duplicated()
Out[297]:
0    False
1     True
2    False
3    False
4     True
5    False
6     True
dtype: bool

还有一个于此相关的drop_duplicates方法，它用于返回一个移除了重复行的DataFrame:

In [298]: data.drop_duplicates()
Out[298]:
    k1  k2
0  one   1
2  one   2
3  two   3
5  two   4

这两个方法默认会去判断全部列，也可以指定部分列来进行判断，这样其他列就会根据指定的列来做判断：

In [299]: data['v1'] = range(7)

In [300]: data.drop_duplicates(['k1'])
Out[300]:
    k1  k2  v1
0  one   1   0
3  two   3   3

duplicated和drop_duplicates默认保留的是第一个出现的值的组合。传入take_last=True则会保留最后一个：

In [305]: data.drop_duplicates(['k1','k2'],keep='last')
Out[305]:
    k1  k2  v1
1  one   1   1
2  one   2   2
4  two   3   4
6  two   4   6

利用函数或者映射进行数据转换

在对数据集进行转换时，你可能希望根据数组、Series或DataFrame列中的值来实现该转换工作。如下：

In [307]: data = DataFrame({'food':['bacon','pulled pork','bacon', 'Pastrami','corned beed', 'Bacon
     ...: ', 'pastrami', 'honey ham', 'nova lox'], 'ounces':[4,3,12,6,7.5,8,3,5,6]})

In [308]: data
Out[308]:
          food  ounces
0        bacon     4.0
1  pulled pork     3.0
2        bacon    12.0
3     Pastrami     6.0
4  corned beed     7.5
5        Bacon     8.0
6     pastrami     3.0
7    honey ham     5.0
8     nova lox     6.0

假设你想要添加一列表示该肉类食物来源的动物类型。我们先编写一个肉类到动物的映射：

In [310]: meat_to_animal = {
                            'bacon':'pig',
                            'pulled pork':'pig',
                            'pastrami':'cow',
                            'corned beef':'cow',
                            'honey ham':'pig',
                            'nova lox':'salmon'}

Series的map方法可以接受一个函数或含有映射关系的字典型对象，但是这里有一个问题，有些肉类的首字母大写了，而有些则没有。所以我们要把各个值转换成小写：

In [311]: data['animal'] = data['food'].map(str.lower).map(meat_to_animal)

In [313]: data
Out[313]:
          food  ounces  animal
0        bacon     4.0     pig
1  pulled pork     3.0     pig
2        bacon    12.0     pig
3     Pastrami     6.0     cow
4  corned beed     7.5     NaN
5        Bacon     8.0     pig
6     pastrami     3.0     cow
7    honey ham     5.0     pig
8     nova lox     6.0  salmon

替换值

之前学到了利用fillna方法填充缺失数据可以看做值替换的一种特殊情况。虽然前面提到的map可用于修改对象的数据子集，而replace则提供一种实现该功能的更简单、更灵活的方式：

In [317]: data = Series([1, -999, 2, -999, -1000, 3])

In [318]: data
Out[318]:
0       1
1    -999
2       2
3    -999
4   -1000
5       3
dtype: int64

-999这个值可能是一个表示缺失数据的值。要将其替换为pandas能够理解的NaN值，那么我们可以利用replace来产生一个新的Series:

In [319]: data.replace(-999, np.nan)
Out[319]:
0       1.0
1       NaN
2       2.0
3       NaN
4   -1000.0
5       3.0
dtype: float64

如果想一次性将多个值替换为NaN值：

In [321]: data.replace([-999,-1000], np.nan)
Out[321]:
0    1.0
1    NaN
2    2.0
3    NaN
4    NaN
5    3.0
dtype: float64

如果相对不同的值做不同的替换，则传入一个由替换关系组成的列表即可：

In [322]: data.replace([-999,-1000], [np.nan, 0])
Out[322]:
0    1.0
1    NaN
2    2.0
3    NaN
4    0.0
5    3.0
dtype: float64

当然也可以是字典：

In [323]: data.replace({-999:np.nan, -1000: 0})
Out[323]:
0    1.0
1    NaN
2    2.0
3    NaN
4    0.0
5    3.0
dtype: float64

loannes's blog