在真实业务数据中，我们经常会遇到列数极多且命名存在规律的DataFrame，例如传感器采集得到的temp_1、temp_2、humidity_1等。如果每次分析都要手写列名，不仅繁琐还容易出错。Pandas提供了基于正则表达式的动态列筛选能力，并可以结合向量化操作在筛选结果上创建新列，从而实现灵活的数据加工。
使用filter与正则表达式动态筛选列
Pandas的DataFrame.filter方法支持通过regex参数传入正则表达式，从而按照列名的文本模式选中多个列。与直接使用列名列表相比，这种方式在列数量不定或命名规则统一时优势明显。例如当我们希望选中所有以temp开头的列，只需要设置regex='^temp'即可，无需关心具体有多少列。
除了前缀匹配，正则表达式还能完成后缀匹配、包含匹配以及更复杂的组合规则。比如regex='_(1|2)$'可以选中以_1或_2结尾的列；regex='temp|humidity'则可以同时选中两类字段。需要注意的是，filter默认在列名上做匹配，若要在索引上匹配需指定axis参数。下面展示一个基础示例：
import pandas as pd
data = {
'temp_1': [20, 21, 19],
'temp_2': [25, 26, 24],
'humidity_1': [40, 45, 50],
'note': ['a', 'b', 'c']
}
df = pd.DataFrame(data)
# 筛选所有以temp开头的列
temp_cols = df.filter(regex='^temp')
print(temp_cols)
上述代码运行后会得到一个仅包含temp_1与temp_2的新DataFrame。由于返回的是独立对象，我们可以继续在其上做聚合或计算，而不会干扰原始数据的其他列。这种非破坏性筛选在处理宽表时非常安全。
当列名规律较为复杂时，建议先使用df.columns打印全部名称，确认命名风格后再写正则。若正则写错，filter可能返回空DataFrame，此时应检查是否多写了锚点符号或忽略了大小写。必要时可传入regex=re.compile(pattern, re.IGNORECASE)来忽略大小写差异。
基于筛选列创建条件新列
动态筛选出目标列之后，常见的需求是根据这些列的值生成新列。例如我们希望计算每行temp系列列的最大值，并将超过阈值的结果标记为hot。这一步可以直接在筛选出的子DataFrame上使用max(axis=1)完成横向聚合，再将结果赋值回原表的新列。
如果条件更复杂，比如要求只有至少两个temp列大于23时才标记hot，则可以结合apply与自定义函数。虽然apply在性能上不如纯向量化操作，但在逻辑分支多、依赖行间上下文时更易读。下面示例演示了最大值计算与条件打标两种写法：
# 基于筛选列计算最大值新列 df['temp_max'] = df.filter(regex='^temp').max(axis=1) # 基于条件创建标记列 threshold = 23 df['temp_max_flag'] = df['temp_max'].apply(lambda x: 'hot' if x > threshold else 'normal') # 更复杂的行级条件：至少两个temp列大于阈值 temp_cols = df.filter(regex='^temp') df['high_count'] = temp_cols.gt(threshold).sum(axis=1) df['multi_hot'] = df['high_count'].apply(lambda c: 'yes' if c >= 2 else 'no') print(df)
在上面的代码中，gt(threshold)会返回一个布尔DataFrame，sum(axis=1)则统计每行True的数量，从而实现了不写循环的多条件计数。这种方式比在apply里写Python循环要快得多，也更符合Pandas的设计理念。
需要提醒的是，新建列赋值时应使用原DataFrame对象，而不是筛选后的子对象，否则新列不会写回原表。如果筛选列和原表来自不同的数据预处理阶段，建议显式使用df.loc[:, 'new_col']来避免链式赋值引发的SettingWithCopyWarning警告。
性能与工程实践建议
当数据规模上升到百万行、上千列时，正则表达式筛选本身开销很小，但后续的逐行apply可能成为瓶颈。此时应尽量用向量化函数替代apply，比如使用clip、where、mask以及比较运算符直接生成布尔矩阵。对于必须写复杂逻辑的场景，可以考虑将筛选出的列转换为NumPy数组后用底层循环或Numba加速。
在工程落地中，建议把列筛选规则与条件逻辑封装成函数，例如build_temp_features(df, pattern='^temp', threshold=23)，这样在不同项目中复用更方便。同时，在 notebooks 中调试时可以先对数据进行head抽样，确认正则与条件符合预期再跑全量，能节省大量等待时间。
def build_temp_features(df, pattern='^temp', threshold=23):
sub = df.filter(regex=pattern)
df.loc[:, 'temp_max'] = sub.max(axis=1)
df.loc[:, 'temp_level'] = df['temp_max'].where(
df['temp_max'] > threshold, 'normal'
).mask(df['temp_max'] > threshold, 'hot')
return df
df = build_temp_features(df)
print(df)
上面的封装函数使用了where与mask组合来完成条件替换，完全避免了apply，在大数据量下表现更稳。通过这种结构，你将正则表达式筛选与条件建列变成了可配置的数据管道环节，后续维护只需调整pattern或threshold参数。
最后，若你的列名来自外部系统且可能包含空格或特殊符号，正则中应先用re.escape处理静态部分，再拼接动态规则，防止符号被解释为正则元字符。这样整套方法既能适应干净数据，也能抵御脏命名带来的意外报错。