Pandas中的常用函数

发表于 更新于 分类于 阅读次数：

map、apply、applymap

Pandas教程 | 数据处理三板斧——map、apply、applymap详解 - 知乎

在日常的数据处理中，经常会对一个DataFrame进行逐行、逐列和逐元素的操作，对应这些操作，Pandas中的map、apply和applymap可以解决绝大部分这样的数据处理需求。

生成100行示例数据：

1
2
3
4
5
6
7
8
9
10
11
12
boolean=[True,False]
gender=["男","女"]
color=["white","black","yellow"]
data=pd.DataFrame({
    "height":np.random.randint(150,190,100),
    "weight":np.random.randint(40,90,100),
    "smoker":[boolean[x] for x in np.random.randint(0,2,100)],
    "gender":[gender[x] for x in np.random.randint(0,2,100)],
    "age":np.random.randint(15,90,100),
    "color":[color[x] for x in np.random.randint(0,len(color),100) ]
}
)

image-20210717144622753

Series数据处理
1. map用法

若想把数据集中gender列的男替换为1，女替换为0，可使用 Series.map()：

1
2
3
4
5
6
7
8
9
# 法一：使用字典进行映射
data["gender"] = data["gender"].map({"男":1, "女":0})

# 法二：使用函数
def gender_map(x):
    gender = 1 if x == "男" else 0
    return gender
# 注意这里传入的是函数名，不带括号
data["gender"] = data["gender"].map(gender_map)

不论是利用字典还是函数进行映射，map方法都是把对应的数据逐个当作参数传入到字典或函数中，得到映射后的值。

注：若该列中存在map字典中不存在的值，例如，gender 中还存在“未知”，则“未知”会被映射为Nan，此时可选择使用函数进行映射，定义一个else，同时使用函数会更加灵活，例如当满足多个条件时，都映射到某个值

2. apply

apply 方法的作用原理和 map 方法类似，区别在于 apply 能够传入功能更为复杂的函数

假设在数据统计的过程中，年龄age列有较大误差，需要对其进行调整（加上或减去一个值），由于这个加上或减去的值未知，故在定义函数时，需要加多一个参数 bias，此时用 map 方法是操作不了的（传入 map 的函数只能接收一个参数），apply 方法则可以解决这个问题。

1
2
3
4
5
def apply_age(x,bias):
    return x+bias

# 以元组的方式传入额外的参数
data["age"] = data["age"].apply(apply_age,args=(-3,))

image-20210717164238564

可以看到age列都减了3，当然，这里只是简单举了个例子，当需要进行复杂处理时，更能体现apply的作用。

总而言之，对于Series而言，map可以解决绝大多数的数据处理需求，但如果需要使用较为复杂的函数，则需要用到apply方法。

DataFrame数据处理
1. apply

对DataFrame而言，apply是非常重要的数据处理方法，它可以接收各种各样的函数（Python内置的或自定义的），处理方式很灵活。

在进行具体介绍之前，首先需要了解一下DataFrame中axis的概念（详见数据框操作）

image-20210717171243694

简言之，若想沿着axis=0的方向新增数据，则选择axis=0；若想沿着axis=1的方向新增数据，则选择axis=1。

假设现在需要对data中的数值列分别进行取对数和求和的操作，这时可以用 apply 进行相应的操作，因为是对列进行操作，所以需要指定axis=0：

1
2
3
4
5
# 沿着0轴求和
data[["height","weight","age"]].apply(np.sum, axis=0)

# 沿着0轴取对数
data[["height","weight","age"]].apply(np.log, axis=0)

image-20210717171536577

当沿着轴0（axis=0）进行操作时，会将各列(columns)默认以Series的形式作为参数，传入到你指定的操作函数中，操作后合并并返回相应的结果。

那如果在实际使用中需要按行进行操作（axis=1）, 例如：

在数据集中，有身高和体重的数据，所以根据这个，我们可以计算每个人的BMI指数（体检时常用的指标，衡量人体肥胖程度和是否健康的重要标准），计算公式是：体重指数BMI=体重/身高的平方（国际单位kg/㎡），因为需要对每个样本进行操作，这里使用axis=1的apply进行操作，代码如下：

1
2
3
4
5
6
7
def BMI(series):
    weight = series["weight"]
    height = series["height"]/100
    BMI = weight/height**2
    return BMI

data["BMI"] = data.apply(BMI,axis=1)

当apply设置了axis=1对行进行操作时，会默认将每一行数据以Series的形式（Series的索引为列名）传入指定函数，返回相应的结果。

总结一下对DataFrame的apply操作：

  1. 当axis=0时，对每列columns执行指定函数；当axis=1时，对每行row执行指定函数。
  2. 无论axis=0还是axis=1，其传入指定函数的默认形式均为Series，可以通过设置raw=True传入numpy数组。
  3. 对每个Series执行结果后，会将结果整合在一起返回（若想有返回值，定义函数时需要return相应的值）
  4. 当然，DataFrame的apply和Series的apply一样，也能接收更复杂的函数，如传入参数等，实现原理是一样的，具体用法详见官方文档。
2. applymap

applymap的用法比较简单，会对 DataFrame 中的每个单元格执行指定函数的操作

新生成一个 DataFrame:

1
2
3
4
5
6
7
8
9
df = pd.DataFrame(
    {
        "A":np.random.randn(5),
        "B":np.random.randn(5),
        "C":np.random.randn(5),
        "D":np.random.randn(5),
        "E":np.random.randn(5),
    }
)

image-20210717172153411

现在想将DataFrame中所有的值保留两位小数显示，使用applymap可以很快达到你想要的目的，代码和图解如下：

1
df.applymap(lambda x:"%.2f" % x)

applymap 将 DataFrame 中的每个数据作为 x 传入匿名函数

groupby

pandas.DataFrame.groupby — pandas 1.3.0 documentation (pydata.org)
Pandas教程 | 超好用的Groupby用法详解 - 知乎 (zhihu.com)

将数据根据某个（多个）字段划分为不同的群体（group）进行分析

例：

模拟生成10个样本数据：

1
2
3
4
5
6
7
8
company=["A","B","C"]

data=pd.DataFrame({
    "company":[company[x] for x in np.random.randint(0,len(company),10)],
    "salary":np.random.randint(5,50,10),
    "age":np.random.randint(15,50,10)
}
)

image-20210717140057334

1
group = data.groupby("company")

groupby的过程就是将原有的DataFrame按照groupby的字段（这里是company），划分为若干个子DataFrame，在groupby之后的一系列操作（如agg、apply等），均是基于子DataFrame的操作。

agg聚合操作

Pandas中常见的聚合操作：

min, max, sum, mean, median, std, var, count

1
2
3
4
5
6
> data.groupby("company").agg('mean')
         salary    age
company
A         21.50  27.50
B         13.00  29.00
C         29.25  27.25

👆 根据公司进行分组，对其余每一列求平均

1
2
3
4
5
6
7
8
9
> data.groupby("company")["salary"].agg('mean')
         salary    age
company
A         21.50  27.50
B         13.00  29.00
C         29.25  27.25

也可以直接写作：
> data.groupby("company")["salary"].mean()

👆 根据公司进行分组，对 salary 列求平均

1
2
3
4
5
6
> data.groupby('company').agg({'salary':'median','age':'mean'})
         salary    age
company
A          21.5  27.50
B          10.0  29.00
C          30.0  27.25

👆 根据公司进行分组，对 salary 列求中位数，对 age 列求平均

1
>data.groupby('company').mean(numeric_only=True)

👆 根据公司进行分组，对所有数值型的列进行求平均

transform操作

若在求得不同公司员工的平均薪水后，想在原数据集中新增一列avg_salary，该怎么做呢？

不用transform的话，实现代码如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
> avg_salary_dict = data.groupby('company')['salary'].mean().to_dict()
> data['avg_salary'] = data['company'].map(avg_salary_dict)
> data
  company  salary  age  avg_salary
0       C      43   35       29.25
1       C      17   25       29.25
2       C       8   30       29.25
3       A      20   22       21.50
4       B      10   17       13.00
5       B      21   40       13.00
6       A      23   33       21.50
7       C      49   19       29.25
8       B       8   30       13.00

如果使用transform的话，仅需要一行代码：

1
2
3
4
5
6
7
8
9
10
11
12
> data['avg_salary'] = data.groupby('company')['salary'].transform('mean')
> data
  company  salary  age  avg_salary
0       C      43   35       29.25
1       C      17   25       29.25
2       C       8   30       29.25
3       A      20   22       21.50
4       B      10   17       13.00
5       B      21   40       13.00
6       A      23   33       21.50
7       C      49   19       29.25
8       B       8   30       13.00
apply

apply 相比 agg 和 transform 而言更加灵活，能够传入任意自定义的函数，实现复杂的数据操作

假设现在需要获取各个公司年龄最大的员工的数据，可以用以下代码实现：

1
2
3
4
5
6
7
8
9
> def get_oldest_staff(x):
...     df = x.sort_values(by = 'age',ascending=True)
...     return df.iloc[-1,:]
> oldest_staff = data.groupby('company',as_index=False).apply(get_oldest_staff)
> oldest_staff
  company  salary  age  
0       A      23   33       
1       B      21   40       
2       C      43   35

最后，关于apply的使用，这里有个小建议，虽然说apply拥有更大的灵活性，但apply的运行效率会比agg和transform更慢。所以，groupby之后能用agg和transform解决的问题还是优先使用这两个方法，实在解决不了了才考虑使用apply进行操作。

crosstab

Python pandas，分组 groupby()，分组后的聚合函数，交叉表 crosstab()

crosstab 交叉表，用于统计分组频率的特殊透视表（列联表）

官方文档：pandas.crosstab — pandas 1.3.0 documentation (pydata.org)

例：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
import pandas as pd
 
# 模拟用户购买商品的表(数据)
my_list = [{"user_id": 11, "goods": "苹果"}, {"user_id": 11, "goods": "苹果"}, {"user_id": 11, "goods": "香蕉"},
           {"user_id": 22, "goods": "苹果"}, {"user_id": 22, "goods": "香蕉"}, {"user_id": 22, "goods": "香蕉"},
           {"user_id": 33, "goods": "梨"}, {"user_id": 33, "goods": "香蕉"}, {"user_id": 33, "goods": "苹果"}]
df = pd.DataFrame(my_list)
print(df)
'''
  goods     user_id
0    苹果       11
1    苹果       11
2    香蕉       11
3    苹果       22
4    香蕉       22
5    香蕉       22
6     梨        33
7    香蕉       33
8    苹果       33
'''
 
# 交叉表 (特殊的分组工具)
cross_tb = pd.crosstab(df["user_id"], df["goods"])  # 交叉表，统计每个用户购买各种商品的数量
print(cross_tb)
'''
goods    梨  苹果  香蕉
user_id           
11       0    2    1
22       0    1    2
33       1    1    1
'''

# ↑第一个参数会被放在index

# 如果想得到占比：
pd.crosstab(df["user_id"], df["goods"], normalize="index") 
'''
goods          梨       苹果      香蕉
user_id
11       0.000000  0.666667  0.333333
22       0.000000  0.333333  0.666667
33       0.333333  0.333333  0.333333
'''

pd.crosstab(df["user_id"], df["goods"], normalize="columns")
'''
goods     梨   苹果   香蕉
user_id
11       0.0  0.50  0.25
22       0.0  0.25  0.50
33       1.0  0.25  0.25
'''

pd.crosstab(df["user_id"], df["goods"], normalize="all")
'''
goods           梨      苹果       香蕉
user_id
11       0.000000  0.222222  0.111111
22       0.000000  0.111111  0.222222
33       0.111111  0.111111  0.111111
'''

语法：

image-20210717172959291

assign

官方文档：pandas.DataFrame.assign — pandas 1.3.0 documentation (pydata.org)

作用：Assign new columns to a DataFrame.

例：

image-20210717173208264

↑也可以写为：

1
df.assign(temp_f=lambda x:x['temp_c']*9/5+32).assign(temp_k=lambda x: (x['temp_f']+459.67)*5/9)

例：利用crosstab与assign进行woe和iv的计算：

构造数据集：

1
df = pd.DataFrame({"col1":["男","女","女","男","女"], "y":[0,1,1,1,0]})

image-20210717173342027

利用 crosstab 得到频率表：

1
pd.crosstab(df["col1"], df["y"], normalize='columns')

image-20210717173509526

在频率表的基础上，加上woe列：

1
pd.crosstab(df["col1"], df["y"], normalize='columns').assign(woe=lambda dfx: np.log(dfx[1].replace(0, 0.0001) / dfx[0].replace(0, 0.0001)))

image-20210717173652106

利用woe的结果，进一步得到iv：

1
pd.crosstab(df["col1"], df["y"], normalize='columns').assign(woe=lambda dfx: np.log(dfx[1].replace(0, 0.0001) / dfx[0].replace(0, 0.0001))).assign(iv=lambda dfx: np.sum(dfx['woe'] * (dfx[1] - dfx[0])))

image-20210717173734785

↑因为iv值是是对于一个变量而言（关于iv和woe的介绍详见我的博客 WOE编码与IV值），所以上面的两个iv值是一样的，那么如何从上述结果中提取出iv值：

1
2
3
4
df_woe_iv = pd.crosstab(df["col1"], df["y"], normalize='columns').assign(woe=lambda dfx: np.log(dfx[1].replace(0, 0.0001) / dfx[0].replace(0, 0.0001))).assign(iv=lambda dfx: np.sum(dfx['woe'] * (dfx[1] - dfx[0])))

a = df_woe_iv['iv'].reset_index()
print(a.loc[0, 'iv'])

image-20210717174228449

pivot

原数据：

1700463583029

想要把数据转换成，每一行是一个 state，每一列是每一年的数据：（把数据打横）

1700463682010

语法如下：

1
df = df.pivot(index='state',columns='year', values='cigsale')