SQLite的写入并发限制确实是按数据库文件独立计算的,这是由SQLite底层的锁机制设计决定的,不同数据库文件之间的写入操作不会互相影响并发限制。

SQLite的锁机制基础
SQLite在写入数据时会对数据库文件加锁,核心的锁类型包括共享锁、保留锁、排他锁等。当一个写操作执行时,会先获取保留锁,最终提交时升级为排他锁,排他锁会阻塞其他所有读写操作,直到当前写操作完成释放锁。
需要注意的是,SQLite的锁是针对单个数据库文件生效的,锁信息存储在数据库文件对应的共享内存区域中,不同数据库文件有各自独立的锁空间,不会互相干扰。
不同数据库文件的并发表现
如果应用同时操作两个不同的SQLite数据库文件,比如db1.db和db2.db,两个文件的写操作可以完全并行执行,互不影响。我们可以通过简单的测试代码验证这个结论。
首先创建两个独立的数据库文件并建表:
import sqlite3
import threading
import time
# 初始化两个独立的数据库文件
def init_db(db_path):
conn = sqlite3.connect(db_path)
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS test_table (id INTEGER PRIMARY KEY, value TEXT)")
conn.commit()
conn.close()
init_db("db1.db")
init_db("db2.db")
然后启动两个线程分别对两个数据库执行写操作,观察是否互相阻塞:
def write_to_db(db_path, thread_name):
conn = sqlite3.connect(db_path, timeout=10)
cursor = conn.cursor()
start_time = time.time()
for i in range(100):
cursor.execute("INSERT INTO test_table (value) VALUES (?)", (f"{thread_name}_{i}",))
conn.commit()
time.sleep(0.01) # 模拟写操作耗时
end_time = time.time()
print(f"{thread_name} 写入完成,耗时:{end_time - start_time:.2f}秒")
conn.close()
# 启动两个线程分别操作不同的数据库文件
t1 = threading.Thread(target=write_to_db, args=("db1.db", "线程1"))
t2 = threading.Thread(target=write_to_db, args=("db2.db", "线程2"))
t1.start()
t2.start()
t1.join()
t2.join()
运行上述代码可以看到,两个线程的写操作几乎是同时开始同时结束,总耗时和单个线程写操作的耗时接近,说明两个不同数据库文件的写操作没有互相阻塞,验证了写入并发限制按数据库文件独立计算的特性。
单数据库文件的写入并发限制
虽然不同数据库文件的写入并发独立,但同一个数据库文件的写入并发是受限的。SQLite同一时间只允许一个写操作持有排他锁,其他写操作会被阻塞,直到当前写操作完成。
我们可以修改上面的测试代码,让两个线程同时操作同一个db1.db:
def write_to_same_db(thread_name):
conn = sqlite3.connect("db1.db", timeout=10)
cursor = conn.cursor()
start_time = time.time()
for i in range(100):
cursor.execute("INSERT INTO test_table (value) VALUES (?)", (f"{thread_name}_{i}",))
conn.commit()
time.sleep(0.01)
end_time = time.time()
print(f"{thread_name} 写入完成,耗时:{end_time - start_time:.2f}秒")
conn.close()
t3 = threading.Thread(target=write_to_same_db, args=("线程3",))
t4 = threading.Thread(target=write_to_same_db, args=("线程4",))
t3.start()
t4.start()
t3.join()
t4.join()
运行后会发现两个线程的总耗时大约是单个线程的两倍,说明同一数据库文件的写操作是串行执行的,存在并发限制。
实际开发中的注意事项
- 如果业务需要较高的写入并发,可以将数据拆分到多个SQLite数据库文件中,利用按文件独立计算并发限制的特性提升整体写入性能。
- 操作同一个数据库文件时,尽量缩短单个写事务的时长,减少排他锁的持有时间,降低其他写操作的等待耗时。
- SQLite的
timeout参数可以设置写操作等待锁的超时时间,避免因为锁等待时间过长导致业务报错,需要根据实际场景合理设置该值。
SQLite的写入并发限制按数据库文件独立计算,不同文件之间无并发干扰,同一文件内写操作串行执行,开发者可以根据业务特性合理拆分数据库文件来优化并发性能。