在Pandas数据处理场景中，经常会遇到某一列存储的是NumPy数组的字符串表示形式，比如将数组转换为字符串后存入表格，后续需要将这些字符串还原并拆分成多个独立的列。如果数据量较大，使用常规的单行遍历方法效率会非常低，因此需要采用更高效的向量化操作或者适配Pandas特性的处理方式。
常见数据场景示例
首先我们构造一个测试数据集，其中array_str列存储的是NumPy数组的字符串形式，每个字符串对应一个长度为3的数组，我们需要将这个列拆分成3个独立的数值列。
import pandas as pd
import numpy as np
# 构造测试数据
data = {
'id': [1, 2, 3, 4],
'array_str': ["[1 2 3]", "[4 5 6]", "[7 8 9]", "[10 11 12]"]
}
df = pd.DataFrame(data)
print("原始数据：")
print(df)
方法一：向量化字符串处理拆分
如果字符串的格式非常规整，比如数组元素之间用空格分隔，且开头结尾是方括号，我们可以先去除方括号，再使用str.split方法拆分，最后转换为数值类型。这种方法完全基于Pandas的向量化字符串操作，效率很高。
# 去除方括号后拆分字符串
split_df = df['array_str'].str.strip('[]').str.split(' ', expand=True)
# 转换为数值类型并重命名列
split_df = split_df.apply(pd.to_numeric)
split_df.columns = ['col1', 'col2', 'col3']
# 合并到原数据
result1 = pd.concat([df, split_df], axis=1)
print("方法一结果：")
print(result1)
方法二：自定义函数结合apply拆分
如果字符串的格式不规整，比如元素之间的分隔符不统一，或者存在多余的空格，使用自定义函数解析会更灵活。我们可以将字符串转换为NumPy数组，再提取对应元素，结合apply方法处理每一行。
def parse_array_str(s):
# 去除方括号，按空格分割并过滤空字符串
elements = [x for x in s.strip('[]').split(' ') if x]
# 转换为数值数组
arr = np.array(elements, dtype=float)
return arr
# 应用函数并拆分成多列
df[['col1', 'col2', 'col3']] = df['array_str'].apply(parse_array_str).tolist()
print("方法二结果：")
print(df)
方法三：使用eval安全解析
如果字符串是合法的Python字面量格式，比如[1, 2, 3]这种逗号分隔的形式，可以使用eval或者ast.literal_eval来解析，后者更安全，不会执行恶意代码。解析后再拆分成多列。
import ast
# 先将空格分隔替换为逗号分隔，适配ast解析
df['array_str_comma'] = df['array_str'].str.replace(' ', ',', regex=False)
# 安全解析字符串为列表
df['array_list'] = df['array_str_comma'].apply(ast.literal_eval)
# 拆分成多列
df[['col1', 'col2', 'col3']] = df['array_list'].tolist()
print("方法三结果：")
print(df[['id', 'array_str', 'col1', 'col2', 'col3']])
性能对比与选择建议
我们通过生成1万行测试数据来对比三种方法的耗时：
import time
# 构造1万行测试数据
test_data = {
'id': range(10000),
'array_str': ["[1 2 3]" for _ in range(10000)]
}
test_df = pd.DataFrame(test_data)
# 方法一耗时测试
start = time.time()
test_df['array_str'].str.strip('[]').str.split(' ', expand=True).apply(pd.to_numeric)
print(f"方法一耗时：{time.time() - start:.4f}秒")
# 方法二耗时测试
start = time.time()
test_df['array_str'].apply(parse_array_str).tolist()
print(f"方法二耗时：{time.time() - start:.4f}秒")
# 方法三耗时测试
start = time.time()
test_df['array_str'].str.replace(' ', ',', regex=False).apply(ast.literal_eval).tolist()
print(f"方法三耗时：{time.time() - start:.4f}秒")
通常情况下，方法一的向量化操作耗时最短，适合格式规整的大数据集；方法二灵活性最高，适合格式不规整的场景；方法三适合本身是合法Python字面量的字符串，安全性较好。大家可以根据实际数据的格式和规模选择对应的方法。
注意事项
- 拆分前先检查字符串的格式，避免解析时出现类型错误
- 如果数组长度不一致，拆分后会出现缺失值，需要提前处理
- 尽量优先使用向量化操作，避免逐行遍历，提升处理效率
- 使用
eval解析字符串时要注意安全性，优先使用ast.literal_eval