在pandas数据处理场景中，我们经常会拿到包含NaN值的原始DataFrame，需要根据某个ID列将原始数据拆分为多个不同的DataFrame，用于后续的分类分析、批量处理等需求。拆分过程中需要同时处理ID列的重复值、NaN值等特殊情况，确保拆分后的每个DataFrame符合预期的结构和数据要求。
基础拆分方法：直接按ID列分组
如果原始DataFrame的ID列没有NaN值，且每个ID对应一组数据，可以直接使用groupby方法按ID列分组，再转换为不同的DataFrame。示例如下：
import pandas as pd
import numpy as np
# 构造含NaN值的测试DataFrame
data = {
'id': [1, 1, 2, 2, 3, 3, 4],
'value': [10, np.nan, 20, 30, np.nan, 40, 50],
'category': ['A', 'B', 'A', 'B', 'A', 'B', 'A']
}
df = pd.DataFrame(data)
print("原始DataFrame：")
print(df)
# 按id列分组，生成字典，key为id值，value为对应的DataFrame
df_dict = dict(tuple(df.groupby('id')))
print("n拆分后的字典：")
for id_val, sub_df in df_dict.items():
print(f"ID为{id_val}的DataFrame：")
print(sub_df)
处理ID列含NaN值的拆分场景
如果ID列本身存在NaN值，直接分组会把所有NaN值归为一组，若需要排除ID为NaN的行，可以提前过滤：
# 过滤id列不为NaN的行后再分组
df_clean = df.dropna(subset=['id'])
df_dict_clean = dict(tuple(df_clean.groupby('id')))
print("过滤NaN后的拆分结果：")
for id_val, sub_df in df_dict_clean.items():
print(f"ID为{id_val}的DataFrame：")
print(sub_df)
按ID列条件拆分不同结构的DataFrame
如果需要基于ID列的不同条件拆分出结构不同的DataFrame，比如拆分出ID为奇数的DataFrame和ID为偶数的DataFrame，可以使用布尔索引实现：
# 拆分出ID为奇数的DataFrame
odd_df = df[df['id'] % 2 == 1]
# 拆分出ID为偶数的DataFrame
even_df = df[df['id'] % 2 == 0]
print("ID为奇数的DataFrame：")
print(odd_df)
print("nID为偶数的DataFrame：")
print(even_df)
拆分时处理其他列的NaN值
拆分过程中如果需要对其他列的NaN值做处理，可以在拆分后单独处理，也可以在拆分前统一处理。比如在拆分前填充value列的NaN值为0：
# 填充value列的NaN值为0后再拆分
df_fill = df.copy()
df_fill['value'] = df_fill['value'].fillna(0)
df_dict_fill = dict(tuple(df_fill.groupby('id')))
print("填充NaN后拆分的结果：")
for id_val, sub_df in df_dict_fill.items():
print(f"ID为{id_val}的DataFrame：")
print(sub_df)
注意事项
- 分组前需要确认ID列的数据类型是否一致，避免因为类型不同导致分组错误，比如字符串类型的ID和数字类型的ID会被分为不同组。
- 如果原始DataFrame数据量较大，分组拆分后建议及时释放不需要的中间变量，避免占用过多内存。
- 拆分后如果需要将多个DataFrame保存到不同文件，可以遍历分组字典批量处理，提升效率。