在业务规模不断扩大的场景下，单台MySQL实例的存储和性能瓶颈会逐渐显现，通过Lua脚本配合MySQL实现数据分布式存储，是一种轻量且灵活的解决方案，能够在不引入复杂中间件的前提下完成数据分片存储。
核心实现思路
整体方案分为三个部分：首先是设计数据分片规则，确定数据应该存储到哪个MySQL节点；其次是通过Lua脚本实现分片路由逻辑，根据业务字段计算目标节点；最后是在MySQL中配置对应的分库分表结构，完成数据的实际存储和查询。
分片规则设计
常用的分片规则是基于业务主键取模，比如用户ID对分片数量取模，得到对应的分片索引。假设我们有4个MySQL存储节点，用户ID为1001时，1001 % 4 = 1，数据就会存储到索引为1的节点中。这种方式路由逻辑简单，数据分布相对均匀。
Lua路由脚本实现
Lua脚本主要负责接收业务参数，计算分片索引，然后转发请求到对应的MySQL节点。以下是一个简单的路由脚本示例，实现根据用户ID路由到不同的MySQL连接：
-- 定义MySQL节点连接配置，实际使用中可以从配置文件加载
local mysql_nodes = {
{ host = "192.168.0.1", port = 3306, db = "shard_0" },
{ host = "192.168.0.2", port = 3306, db = "shard_1" },
{ host = "192.168.0.3", port = 3306, db = "shard_2" },
{ host = "192.168.0.4", port = 3306, db = "shard_3" }
}
-- 分片数量，和节点数量一致
local shard_count = 4
-- 根据用户ID计算分片索引
local function calc_shard_index(user_id)
return user_id % shard_count
end
-- 获取对应的MySQL节点配置
local function get_mysql_node(user_id)
local index = calc_shard_index(user_id)
return mysql_nodes[index + 1] -- Lua数组索引从1开始
end
-- 示例：插入用户数据到对应分片
local function insert_user_data(user_id, user_name, age)
local node = get_mysql_node(user_id)
-- 这里可以调用对应的MySQL驱动执行插入语句，伪代码如下
-- local conn = mysql_connect(node.host, node.port, node.db, "user", "password")
-- local sql = string.format("INSERT INTO user_info (user_id, user_name, age) VALUES (%d, '%s', %d)", user_id, user_name, age)
-- mysql_execute(conn, sql)
-- mysql_close(conn)
return node
end
-- 测试调用
local test_user_id = 1001
local target_node = insert_user_data(test_user_id, "张三", 25)
print("用户ID " .. test_user_id .. " 对应的存储节点是：" .. target_node.host .. ":" .. target_node.port .. "/" .. target_node.db)
MySQL分库分表配置
每个MySQL节点需要创建对应的分片库和表结构，所有节点的表结构保持一致。比如每个节点的库中都有user_info表，结构如下：
CREATE TABLE `user_info` ( `id` int(11) NOT NULL AUTO_INCREMENT, `user_id` int(11) NOT NULL COMMENT '用户ID，分片字段', `user_name` varchar(50) NOT NULL COMMENT '用户名', `age` int(11) DEFAULT NULL COMMENT '年龄', `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP, PRIMARY KEY (`id`), UNIQUE KEY `uk_user_id` (`user_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='用户信息表';
数据查询逻辑
查询数据时同样需要通过Lua脚本计算分片索引，然后到对应的MySQL节点查询。如果是批量查询多个用户ID的数据，可以先对每个用户ID计算分片索引，按节点分组后分别查询，最后汇总结果。以下是批量查询的Lua示例：
-- 批量查询用户数据
local function batch_query_users(user_ids)
-- 按分片节点分组用户ID
local node_user_map = {}
for _, user_id in ipairs(user_ids) do
local node = get_mysql_node(user_id)
local node_key = node.host .. ":" .. node.port .. "/" .. node.db
if not node_user_map[node_key] then
node_user_map[node_key] = {
node = node,
user_ids = {}
}
end
table.insert(node_user_map[node_key].user_ids, user_id)
end
-- 遍历每个节点查询数据
local result = {}
for node_key, item in pairs(node_user_map) do
local node = item.node
local ids_str = table.concat(item.user_ids, ",")
-- 伪代码：执行查询
-- local conn = mysql_connect(node.host, node.port, node.db, "user", "password")
-- local sql = string.format("SELECT user_id, user_name, age FROM user_info WHERE user_id IN (%s)", ids_str)
-- local query_result = mysql_query(conn, sql)
-- for _, row in ipairs(query_result) do
-- table.insert(result, row)
-- end
-- mysql_close(conn)
end
return result
end
-- 测试批量查询
local test_ids = {1001, 1002, 1005, 1009}
local users = batch_query_users(test_ids)
print("批量查询到 " .. #users .. " 条用户数据")
注意事项
- 分片规则确定后尽量不要修改，否则会导致已有数据路由错误，如需调整需要做好数据迁移。
- 如果分片字段值存在热点，比如大量请求集中在某几个用户ID，会导致单个节点压力过大，可以结合业务调整分片规则。
- Lua脚本中涉及的MySQL连接需要做好连接池管理，避免频繁创建和销毁连接带来的性能损耗。
- 跨分片的关联查询实现复杂度较高，设计表结构时尽量避免跨分片的关联需求。