在Pandas的数据处理场景中,字符串列的首尾元素修改是高频操作,比如给所有字符串添加统一前缀、删除末尾多余字符、替换首部特定字符等。如果采用逐行循环的方式处理,当数据量较大时会出现明显的性能瓶颈,因此掌握Pandas内置的高效字符串处理方法非常重要。

基础方法:使用str访问器
Pandas为Series对象提供了str访问器,可以直接调用字符串的各类内置方法,无需手动循环,这是处理字符串列最高效的方式之一。
修改首元素:添加前缀或替换首字符
如果需要给字符串列的所有元素添加统一前缀,或者替换每个字符串的第一个字符,可以使用str.cat或者切片结合str方法实现。
示例代码如下:
import pandas as pd
# 创建测试DataFrame
df = pd.DataFrame({
'name': ['张三', '李四', '王五', '赵六']
})
# 给所有name列元素添加前缀"用户_"
df['name_with_prefix'] = df['name'].str.cat('用户_', sep='')
# 等价于 df['name_with_prefix'] = '用户_' + df['name']
# 替换每个字符串的第一个字符为"张",如果首字符不是"张"的话
df['name_replace_first'] = df['name'].str[0].where(df['name'].str[0] == '张', '张') + df['name'].str[1:]
print(df)
修改尾元素:添加后缀或删除末尾字符
添加后缀可以直接使用str.cat方法,删除末尾指定数量的字符可以使用切片操作。
示例代码如下:
import pandas as pd
df = pd.DataFrame({
'code': ['A001', 'B002', 'C003', 'D004']
})
# 给所有code列元素添加后缀"_END"
df['code_with_suffix'] = df['code'].str.cat('_END', sep='')
# 删除每个code元素的最后一个字符
df['code_without_last'] = df['code'].str[:-1]
print(df)
批量替换首尾特定字符
如果需要替换首尾的特定字符,而不是简单的添加或删除,可以使用str.replace方法结合正则表达式实现。
替换首部特定字符
正则表达式中^表示字符串开头,可以用来匹配首部的特定内容。
示例代码如下:
import pandas as pd
df = pd.DataFrame({
'phone': ['+8613800000000', '+8613900000000', '13800000000', '13900000000']
})
# 将所有手机号首部的+86替换为空,统一格式
df['phone_clean'] = df['phone'].str.replace(r'^+86', '', regex=True)
print(df)
替换尾部特定字符
正则表达式中$表示字符串结尾,可以用来匹配尾部的特定内容。
示例代码如下:
import pandas as pd
df = pd.DataFrame({
'file_name': ['test.txt', 'demo.txt', 'note.doc', 'image.png']
})
# 将所有文件名尾部的.txt替换为.csv
df['file_name_new'] = df['file_name'].str.replace(r'.txt$', '.csv', regex=True)
print(df)
条件修改首尾元素
实际场景中往往需要根据特定条件修改首尾元素,比如只有长度大于3的字符串才添加前缀,这时候可以结合mask或者where方法实现。
示例代码如下:
import pandas as pd
df = pd.DataFrame({
'address': ['北京', '上海市浦东新区', '广州', '深圳市南山区']
})
# 只有地址长度大于2的才在首部添加"中国_"
df['address_new'] = df['address'].where(df['address'].str.len() <= 2, '中国_' + df['address'])
print(df)
性能对比
为了验证不同方法的效率,我们可以对比循环处理和str访问器处理的耗时差异。
示例代码如下:
import pandas as pd
import time
# 创建10万条数据的测试DataFrame
df = pd.DataFrame({
'text': ['test' + str(i) for i in range(100000)]
})
# 方法1:循环处理
start_time = time.time()
new_text = []
for t in df['text']:
new_text.append('pre_' + t)
df['text_loop'] = new_text
loop_time = time.time() - start_time
# 方法2:str访问器处理
start_time = time.time()
df['text_str'] = 'pre_' + df['text']
str_time = time.time() - start_time
print(f'循环处理耗时:{loop_time:.2f}秒')
print(f'str访问器处理耗时:{str_time:.2f}秒')
运行结果可以看到,str访问器的处理速度远快于循环处理,数据量越大差距越明显。
注意事项
- 使用
str访问器时,如果列中存在非字符串类型的元素,会返回NaN,建议先使用astype(str)转换类型。 - 正则表达式中特殊字符需要转义,比如
.需要写成.,+需要写成+。 - 切片操作
str[:n]表示取前n个字符,str[-n:]表示取后n个字符,超出长度不会报错。