在Pandas的默认处理逻辑中,整数列一旦出现None值,整个列的数据类型会自动从int64转换为float64,这是因为Python的原生整数类型不支持存储None值。如果业务场景要求整数列必须保持整数类型,就需要采用特定的策略来处理None值。

使用Pandas可空整数类型
Pandas从0.24版本开始引入了可空整数类型,这类类型专门支持存储整数和None值,不会自动转换为浮点型。可空整数类型的命名规则是在原有整数类型后加大写字母A,比如Int8、Int16、Int32、Int64。
可以通过以下两种方式将整数列转换为可空整数类型:
创建DataFrame时指定类型
在构造DataFrame的时候,直接通过dtype参数指定列的类型为可空整数类型:
import pandas as pd
import numpy as np
# 创建包含None值的原始数据
data = {
"id": [1, 2, None, 4, 5],
"score": [90, None, 85, 92, 88]
}
# 指定id列为Int64类型,score列为Int32类型
df = pd.DataFrame(data, dtype={"id": "Int64", "score": "Int32"})
print(df.dtypes)
# 输出:
# id Int64
# score Int32
# dtype: object
已有DataFrame转换列类型
如果DataFrame已经创建完成,可以通过astype方法转换目标列的类型:
import pandas as pd
import numpy as np
data = {
"id": [1, 2, None, 4, 5],
"score": [90, None, 85, 92, 88]
}
df = pd.DataFrame(data)
# 将id列转换为Int64类型
df["id"] = df["id"].astype("Int64")
# 将score列转换为Int32类型
df["score"] = df["score"].astype("Int32")
print(df.dtypes)
替换None值为指定整数
如果业务允许将None值替换为某个特定的整数(比如0、-1等),可以通过fillna方法先填充None值,再转换列类型为整数类型,这样也能保持列的整数类型。
示例代码如下:
import pandas as pd
import numpy as np
data = {
"id": [1, 2, None, 4, 5],
"score": [90, None, 85, 92, 88]
}
df = pd.DataFrame(data)
# 将id列的None值替换为-1,再转换为int64类型
df["id"] = df["id"].fillna(-1).astype(int)
# 将score列的None值替换为0,再转换为int32类型
df["score"] = df["score"].fillna(0).astype("int32")
print(df.dtypes)
# 输出:
# id int64
# score int32
# dtype: object
两种策略的适用场景对比
两种策略各有适用场景,具体差异如下:
| 策略 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|
| 使用可空整数类型 | 保留None值的语义,不需要修改原始数据含义 | 部分旧版本Pandas不支持,部分第三方库可能不兼容该类型 | 需要明确区分None和有效整数,且运行环境支持Pandas 0.24及以上版本 |
| 替换None值为指定整数 | 兼容性好,所有Pandas版本和第三方库都支持 | 改变了原始数据的含义,需要提前和业务方确认替换值的合理性 | 业务允许None值用特定整数代替,对数据兼容性要求高 |
注意事项
使用可空整数类型时需要注意,这类类型的None值在参与计算时的行为和原生None不同,比如Int64类型的None和整数相加会返回None,而填充后的整数列相加会返回正常计算结果。另外,在使用to_csv等方法导出数据时,可空整数类型的None值会被导出为空字符串,而填充后的整数列会导出为对应的填充值,需要根据导出需求选择合适的策略。