在使用SQLite存储数据的场景中,插入操作是最高频的操作之一,不少开发者都遇到过插入时提示数据库锁定的报错,导致业务逻辑中断。下面我们先了解相关机制,再逐步分析问题原因和解决方法。

SQLite锁机制基础
SQLite采用粗粒度的锁机制管理数据库访问,主要有以下几种锁状态:
- 未加锁:连接刚建立,还未访问数据库
- 共享锁:读取数据时持有,多个连接可同时持有共享锁
- 保留锁:事务准备修改数据时持有,阻止其他连接获取保留锁
- 排他锁:写入数据时持有,同一时间仅能有一个连接持有排他锁
插入操作需要先获取保留锁,再升级为排他锁,这个过程如果和其他操作冲突,就会触发锁定报错。
插入时出现锁定的常见原因
1. 未提交的事务占用锁
如果在之前的数据库操作中开启了事务,但是没有执行提交或者回滚,这个事务会一直持有对应的锁,后续插入操作尝试获取锁时就会失败。
import sqlite3
conn = sqlite3.connect('test.db')
cursor = conn.cursor()
# 开启事务后没有提交或回滚
cursor.execute('BEGIN TRANSACTION')
cursor.execute('INSERT INTO test_table VALUES (1)')
# 此时事务未结束,锁被占用
# 再次执行插入会触发锁定
try:
cursor.execute('INSERT INTO test_table VALUES (2)')
except sqlite3.OperationalError as e:
print(f'插入失败:{e}')2. 多连接同时写入
SQLite默认同一时间仅支持一个写入操作,如果多个连接同时尝试插入数据,后请求的连接会因为无法获取排他锁而出现锁定错误。
3. 插入操作耗时过长
如果单次插入的数据量极大,或者插入时触发了复杂的触发器逻辑,导致写入过程耗时很久,排他锁被长时间占用,其他插入请求就会超时锁定。
解决插入锁定的方法
1. 规范事务操作
所有事务操作都要确保最终执行提交或者回滚,避免残留事务占用锁。可以使用上下文管理器自动管理事务:
import sqlite3
conn = sqlite3.connect('test.db')
try:
with conn: # 上下文管理器自动提交或回滚
cursor = conn.cursor()
cursor.execute('INSERT INTO test_table VALUES (1)')
cursor.execute('INSERT INTO test_table VALUES (2)')
except sqlite3.OperationalError as e:
print(f'操作失败:{e}')2. 优化并发写入逻辑
如果是多连接场景,可以在应用层做写入队列,把多个插入请求串行化,避免同时竞争排他锁。也可以调整SQLite的busy_timeout参数,设置等待锁的超时时间:
import sqlite3
# 设置等待锁的超时时间为3000毫秒
conn = sqlite3.connect('test.db', timeout=3)
# 或者执行PRAGMA语句设置
cursor = conn.cursor()
cursor.execute('PRAGMA busy_timeout = 3000')3. 拆分大批量插入
如果需要插入大量数据,不要单次执行超大插入,可以分批次插入,每插入一批就提交一次事务,缩短排他锁占用时间:
import sqlite3
conn = sqlite3.connect('test.db')
cursor = conn.cursor()
data_list = [(i,) for i in range(10000)] # 待插入的1万条数据
batch_size = 1000 # 每批插入1000条
for i in range(0, len(data_list), batch_size):
batch = data_list[i:i+batch_size]
cursor.executemany('INSERT INTO test_table VALUES (?)', batch)
conn.commit() # 每批提交一次,释放锁4. 避免长事务
不要在事务中执行和数据库无关的长耗时操作,比如网络请求、大文件读写等,尽量保证事务内的操作都是数据库相关操作,缩短事务持有锁的时间。
总结
SQLite插入时的数据库锁定大多是锁使用不规范导致的,只要规范事务流程、优化并发和插入逻辑,大部分锁定问题都可以解决。如果调整以上配置后还是频繁出现锁定,可以检查是否有其他进程在意外访问同一个数据库文件。