把文本数据写进MySQL是数据处理中的基础操作,但很多人在实际做的时候会发现,用程序一行行执行INSERT不仅速度慢,而且遇到特殊字符就容易报错。文本文件的格式五花八门,可能是逗号分隔的CSV,也可能是制表符分隔的TSV,甚至是不带任何分隔的定长文本。理解MySQL提供的几种导入通道,并根据文件规模和运行环境做选择,是搞定这件事的核心。

使用LOAD DATA INFILE语句高效导入
MySQL自带的LOAD DATA INFILE是最快的文本导入方式。它的原理是让数据库服务进程直接读取服务器本地的文本文件,按照指定的字段分隔符和行分隔符解析后批量写入表,完全跳过了单条SQL的语法解析与网络往返开销。在百万行级别的文本导入中,它通常比脚本拼INSERT快十倍甚至更多。
基本语法中需要明确指定文件路径、目标表名、字段终止符FIELDS TERMINATED BY以及行终止符LINES TERMINATED BY。如果文本第一行是列名,还要加IGNORE 1 LINES。字符集通过CHARACTER SET utf8mb4声明,避免中文乱码。下面是一个导入CSV的示例:
LOAD DATA INFILE '/var/lib/mysql-files/user.csv' INTO TABLE user CHARACTER SET utf8mb4 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY 'n' IGNORE 1 LINES (id, name, age);
需要注意服务端权限问题。默认MySQL要求文件必须放在secure_file_priv指定的目录里,否则会报权限错误。可以通过SHOW VARIABLES LIKE 'secure_file_priv';查看路径。如果文本在客户端机器而非数据库服务器上,应使用LOAD DATA LOCAL INFILE,同时要在服务端配置中开启local_infile参数,连接时也要允许本地文件读取。
这种方式虽然快,但不适合做复杂的数据清洗。文本字段必须和目标表结构严格对应,类型不匹配会直接报错或截断。如果源文件质量较差,建议先用临时表装载再走SQL转换,而不是在LOAD语句里写加工逻辑。
借助mysqlimport客户端与图形化工具
mysqlimport其实是LOAD DATA INFILE的命令行封装,适合在Shell脚本里批量调度。它的用法很直观:命令后面跟数据库名和文本文件,文件名前缀默认对应表名。比如user.txt会导入到user表。它支持的参数和LOAD语句基本一致,能用--fields-terminated-by等选项控制格式。
mysqlimport --local --fields-terminated-by=',' --lines-terminated-by='n' --ignore-lines=1 --default-character-set=utf8mb4 -u root -p test user.csv
对于不熟悉命令行的同学,Navicat、DBeaver、MySQL Workbench都提供了表格导入向导。以MySQL Workbench为例,在表上右键选择Table Data Import Wizard,按步骤选文件、映射字段即可。图形工具会在后台生成对应的LOAD语句,好处是能实时看到字段映射是否正确,坏处是大文件时界面容易卡顿,而且依赖本地机器内存。
这类工具本质上没有突破MySQL的协议限制,只是降低了操作门槛。当文件超过几个GB时,还是建议回到命令行或写脚本做分片,因为图形界面一旦中断就得从头再来。另外,图形工具导出的错误日志往往不够详细,排查编码问题不如直接看命令行报错清晰。
通过编程脚本灵活处理文本再写入
当文本格式不规范,或者导入前需要补字段、过滤脏数据,用Python、Java等语言写脚本是最灵活的办法。思路是读一行文本,处理成元组,然后用executemany批量提交。下面是用Python读取制表符文件并批量插入的例子:
import pymysql
conn = pymysql.connect(host='127.0.0.1', user='root', password='pass', db='test', charset='utf8mb4')
cur = conn.cursor()
batch = []
with open('data.tsv', 'r', encoding='utf-8') as f:
next(f) # 跳过表头
for line in f:
cols = line.rstrip('n').split('t')
if len(cols) != 3:
continue
batch.append((cols[0], cols[1], int(cols[2])))
if len(batch) >= 1000:
cur.executemany("INSERT INTO user VALUES (%s,%s,%s)", batch)
conn.commit()
batch.clear()
if batch:
cur.executemany("INSERT INTO user VALUES (%s,%s,%s)", batch)
conn.commit()
cur.close()
conn.close()
脚本方式的最大优势是能在内存中做任意转换,比如把日期字符串转成标准格式、把空串换成NULL、根据规则生成主键。它不依赖secure_file_priv,因为文件在客户端读,数据走普通INSERT协议。不过单条语句的网络开销仍在,所以一定要攒批提交,不要每行都commit一次,否则性能会差到无法接受。
如果数据量极大,可以结合脚本做文件切分,先按行数把大文本拆成若干小文件,再用多进程分别跑LOAD DATA LOCAL INFILE。这样既保留了文本直读的高效,又用代码弥补了格式处理的短板。总之,选方法时先估量文件干净程度和体量:干净大文件用LOAD,脏数据用小批量脚本,临时需求用图形工具。
mysql文本导入LOAD_DATA_INFILE修改时间:2026-08-15 10:42:26