Python作为数据处理领域常用的编程语言，经常需要处理CSV格式的文件，但实际场景中CSV文件往往存在列数不一致、编码格式不符合预期的问题，导致读取过程报错或者数据解析异常，需要针对性处理才能保证数据正确加载。
CSV文件列数不一致的处理方法
使用csv标准库处理
csv模块是Python内置的处理CSV文件的库，通过自定义解析逻辑可以适配列数不一致的CSV文件。核心思路是读取每一行后，根据目标列数补全缺失值或者截断多余列。
import csv
def read_csv_with_uniform_columns(file_path, target_col_num, fill_value=None):
result = []
with open(file_path, 'r', encoding='utf-8') as f:
reader = csv.reader(f)
for row in reader:
# 如果当前行列数少于目标列数，补全缺失值
if len(row) < target_col_num:
row += [fill_value] * (target_col_num - len(row))
# 如果当前行列数多于目标列数，截断多余列
elif len(row) > target_col_num:
row = row[:target_col_num]
result.append(row)
return result
# 使用示例，假设目标列数为5，缺失值用空字符串填充
data = read_csv_with_uniform_columns('test.csv', 5, '')
for row in data:
print(row)
使用pandas库处理
pandas是更便捷的数据处理库，读取CSV时可以通过参数设置自动处理列数不一致的问题，也可以读取后统一调整列数。
import pandas as pd
# 方法1：读取时指定列名，自动补全缺失列
col_names = ['col1', 'col2', 'col3', 'col4', 'col5']
df = pd.read_csv('test.csv', header=None, names=col_names)
print(df)
# 方法2：读取后调整列数，缺失列填充指定值
df = pd.read_csv('test.csv', header=None)
# 如果列数少于5，新增列并填充空值
if df.shape[1] < 5:
for i in range(df.shape[1], 5):
df[i] = None
# 如果列数多于5，删除多余列
elif df.shape[1] > 5:
df = df.iloc[:, :5]
# 重命名列名
df.columns = col_names
print(df)
CSV文件编码错误的处理方法
常见编码错误原因
CSV文件的编码格式多样，常见的有UTF-8、GBK、GB2312、ISO-8859-1等，如果读取时指定的编码和实际文件编码不匹配，就会出现UnicodeDecodeError错误。比如Windows下生成的CSV文件默认编码多为GBK，而Python默认使用UTF-8读取，就会触发编码异常。
使用csv标准库处理编码错误
可以通过尝试多种常见编码的方式读取文件，也可以通过errors参数设置编码错误的处理方式。
import csv
def read_csv_with_encoding(file_path):
# 常见编码列表，按顺序尝试
encodings = ['utf-8', 'gbk', 'gb2312', 'iso-8859-1']
for encoding in encodings:
try:
with open(file_path, 'r', encoding=encoding) as f:
reader = csv.reader(f)
data = [row for row in reader]
print(f'使用{encoding}编码读取成功')
return data
except UnicodeDecodeError:
continue
# 如果所有编码都失败，使用忽略错误的方式读取
with open(file_path, 'r', encoding='utf-8', errors='ignore') as f:
reader = csv.reader(f)
data = [row for row in reader]
print('使用utf-8编码忽略错误读取成功')
return data
data = read_csv_with_encoding('test.csv')
for row in data:
print(row)
使用pandas库处理编码错误
pandas的read_csv方法提供了encoding参数和encoding_errors参数，可以灵活处理编码问题。
import pandas as pd
# 方法1：指定常见编码尝试读取
encodings = ['utf-8', 'gbk', 'gb2312', 'iso-8859-1']
df = None
for encoding in encodings:
try:
df = pd.read_csv('test.csv', encoding=encoding)
print(f'使用{encoding}编码读取成功')
break
except UnicodeDecodeError:
continue
# 方法2：读取时设置编码错误处理策略，可选'ignore'、'replace'等
if df is None:
df = pd.read_csv('test.csv', encoding='utf-8', encoding_errors='ignore')
print('使用utf-8编码忽略错误读取成功')
print(df)
综合处理示例
实际场景中往往同时存在列数不一致和编码错误的问题，可以结合上述方法一次性处理。
import pandas as pd
def process_csv(file_path, target_col_num, col_names):
# 先处理编码问题
encodings = ['utf-8', 'gbk', 'gb2312', 'iso-8859-1']
df = None
for encoding in encodings:
try:
df = pd.read_csv(file_path, header=None, encoding=encoding)
break
except UnicodeDecodeError:
continue
if df is None:
df = pd.read_csv(file_path, header=None, encoding='utf-8', encoding_errors='ignore')
# 再处理列数不一致问题
if df.shape[1] < target_col_num:
for i in range(df.shape[1], target_col_num):
df[i] = None
elif df.shape[1] > target_col_num:
df = df.iloc[:, :target_col_num]
df.columns = col_names
return df
# 使用示例
result_df = process_csv('test.csv', 5, ['col1', 'col2', 'col3', 'col4', 'col5'])
print(result_df)
注意事项
- 处理编码问题时，优先尝试常见的编码格式，避免直接使用忽略错误的模式，否则可能导致部分字符丢失。
- 调整CSV列数时，需要提前明确目标列的含义，避免无意义的补全或截断导致数据失真。
- 如果处理的CSV文件来自不可信的来源，需要注意文件内容的安全性，避免执行恶意构造的内容。