在Pandas的数据处理流程中,按行判断列值包含关系并删除对应行是常见操作,以下是具体的实现方法和相关说明。

核心实现思路
要实现按行判断并删除「列值包含另一列值」的行,核心逻辑分为三步:首先逐行判断目标列的值是否包含参考列的值,生成布尔序列;然后通过布尔索引筛选出不符合条件的行;最后得到清洗后的DataFrame。其中字符串包含判断可以使用str.contains方法,结合apply函数实现按行操作。
基础场景实现
假设我们有一个DataFrame,包含content列和keyword列,需要删除content列值包含keyword列值的所有行,基础实现代码如下:
import pandas as pd
# 构造示例数据
data = {
"content": ["今天天气很好", "我爱编程", "Python很有趣", "学习Pandas很实用"],
"keyword": ["天气", "编程", "Java", "Pandas"]
}
df = pd.DataFrame(data)
print("原始数据:")
print(df)
# 按行判断content是否包含keyword,生成布尔序列
# 注意处理keyword为空的情况,避免报错
mask = df.apply(lambda row: row["keyword"] in row["content"] if pd.notna(row["keyword"]) else False, axis=1)
# 删除满足条件的行,保留不满足的行
result_df = df[~mask]
print("n删除后的数据:")
print(result_df)
上述代码中,apply函数设置axis=1按行执行判断逻辑,pd.notna用于过滤掉keyword列为空的行,避免出现判断错误。最后通过~mask取反,得到不包含关系的行。
使用str.contains优化实现
如果两列都是字符串类型,也可以使用str.contains方法简化操作,代码如下:
import pandas as pd
data = {
"content": ["今天天气很好", "我爱编程", "Python很有趣", "学习Pandas很实用"],
"keyword": ["天气", "编程", "Java", "Pandas"]
}
df = pd.DataFrame(data)
# 使用str.contains按行判断,escape=True避免特殊字符报错
mask = df.apply(lambda row: row["content"].str.contains(row["keyword"], na=False, escape=True) if pd.notna(row["keyword"]) else False, axis=1)
result_df = df[~mask]
print(result_df)
这里str.contains的na=False参数表示当content列为空时返回False,escape=True可以避免keyword中包含正则特殊字符时出现的匹配错误。
复杂场景处理
处理空值情况
如果两列都可能存在空值,需要先对空值进行处理,避免判断逻辑出错:
import pandas as pd
import numpy as np
data = {
"content": ["今天天气很好", np.nan, "Python很有趣", "学习Pandas很实用"],
"keyword": ["天气", "编程", np.nan, "Pandas"]
}
df = pd.DataFrame(data)
# 先填充空值为空字符串,再进行判断
df["content"] = df["content"].fillna("")
df["keyword"] = df["keyword"].fillna("")
mask = df.apply(lambda row: row["keyword"] in row["content"] if row["keyword"] else False, axis=1)
result_df = df[~mask]
print(result_df)
多列条件判断
如果需要判断多列值是否包含另一列的值,只需要扩展判断逻辑即可:
import pandas as pd
data = {
"content1": ["今天天气很好", "我爱编程", "Python很有趣", "学习Pandas很实用"],
"content2": ["出门散步", "写代码", "学框架", "做项目"],
"keyword": ["天气", "编程", "Java", "Pandas"]
}
df = pd.DataFrame(data)
# 判断keyword是否包含在content1或content2中
mask = df.apply(lambda row: (row["keyword"] in row["content1"]) or (row["keyword"] in row["content2"]) if pd.notna(row["keyword"]) else False, axis=1)
result_df = df[~mask]
print(result_df)
注意事项
- 判断前确认两列的数据类型,非字符串类型需要先转换为字符串,避免
in判断或str.contains报错。 - 如果keyword列包含正则特殊字符,使用
str.contains时务必设置escape=True参数。 - 按行使用
apply函数处理大数据集时效率较低,如果数据量较大,可以考虑先将两列拼接后使用向量化操作优化。