在Pandas的数据处理场景中,apply函数是实现自定义逻辑批量处理的核心工具,当我们需要同时对多列数据进行运算时,通过列名列表批量传递多列数据给apply函数可以大幅减少重复代码,提升处理效率。

apply函数的基本处理逻辑
apply函数可以作用于DataFrame的行或列,默认按列处理,当设置axis=1时会按行处理。如果我们需要自定义函数处理多列数据,就需要把对应的多列数据作为参数传递给自定义函数。
假设我们有如下的示例DataFrame:
import pandas as pd
# 构造示例数据
data = {
"name": ["张三", "李四", "王五"],
"math_score": [90, 85, 78],
"chinese_score": [88, 92, 80],
"english_score": [95, 88, 82]
}
df = pd.DataFrame(data)
print(df)
通过列名列表批量传递多列数据的方法
方法一:直接通过列名列表选取多列后调用apply
我们可以先通过列名列表从DataFrame中选取对应的多列,然后调用apply函数,此时自定义函数的输入参数就是每一行的多列数据组成的Series。
比如我们需要计算每个学生的三科总分,列名列表为["math_score", "chinese_score", "english_score"],实现代码如下:
# 定义计算总分的自定义函数
def calculate_total(row):
# row是包含多列数据的Series,通过列名取值
return row["math_score"] + row["chinese_score"] + row["english_score"]
# 列名列表
score_cols = ["math_score", "chinese_score", "english_score"]
# 按行处理,axis=1表示对每一行应用函数
df["total_score"] = df[score_cols].apply(calculate_total, axis=1)
print(df)
方法二:传递列名列表给apply内部的自定义函数
如果自定义函数需要动态接收列名列表,也可以在apply内部通过列名列表动态取值,这种方式更适合列名列表需要灵活变化的场景。
# 自定义函数接收行数据和列名列表
def calculate_sum_by_cols(row, cols):
total = 0
for col in cols:
total += row[col]
return total
score_cols = ["math_score", "chinese_score", "english_score"]
# 使用lambda传递列名列表参数
df["total_score"] = df.apply(lambda row: calculate_sum_by_cols(row, score_cols), axis=1)
print(df)
常见注意事项
- 使用列名列表选取多列时,要确保列表中的所有列名都存在于DataFrame中,否则会抛出KeyError。
- 按行处理多列数据时,必须设置
axis=1,如果遗漏该参数,apply会默认按列处理,导致逻辑错误。 - 如果自定义函数需要处理大量数据,apply的效率可能不如向量化操作,此时可以考虑先通过列名列表选取多列后直接进行向量化运算。
向量化替代方案参考
对于简单的求和、求均值等操作,不需要使用apply,直接通过列名列表选取多列后调用对应的向量化方法效率更高:
score_cols = ["math_score", "chinese_score", "english_score"] # 直接对多列求和,效率高于apply df["total_score"] = df[score_cols].sum(axis=1) print(df)