EventMachine 提供了 EM::Iterator 类,专门用于在事件循环中对集合进行并发迭代。它最核心的价值在于可以限制同时处理的任务数量,避免大量异步操作瞬间压垮系统资源。与 Ruby 原生的 each 或 map 不同,EM::Iterator 的迭代过程是完全异步的,每个元素对应的任务可以在事件循环中交错执行。

一、并行度限制的实现机制
EM::Iterator 的构造函数接收两个参数:一个可枚举对象和一个表示最大并行度的整数。创建迭代器后,调用 each 或 map 方法启动异步遍历。当指定并行度为 2 时,迭代器会立即启动前两个元素对应的任务,而不会一次性把所有任务都抛给事件循环。只有当某个任务内部调用了 iter.next 或 iter.return 时,迭代器才会从队列中取出下一个元素并启动新任务。这种设计从根本上限制了同时处于“进行中”状态的任务数量。
下面是一个最简单的示例,展示如何用并行度 2 遍历一个数组,并模拟每个任务耗时随机的异步操作。注意每个回调块最后必须调用 iter.next,否则迭代器会认为当前元素还没处理完,后续元素将永远不会启动,整个 EM.run 也可能因此无法正常结束。
require 'eventmachine'
EM.run do
items = (1..5).to_a
iterator = EM::Iterator.new(items, 2)
iterator.each do |item, iter|
delay = rand(0.2..0.8)
puts "开始处理 #{item},预计 #{delay} 秒"
EM.add_timer(delay) do
puts "完成 #{item}"
iter.next
end
end
EM.add_timer(3) { EM.stop }
end
在上面的代码中,最多只有两个 EM.add_timer 会同时处于等待状态。前两个元素会立即进入处理,第三个元素必须等前两个中任意一个调用 iter.next 后才会启动。即便集合有上百个元素,同时运行的任务数也不会超过 2。这种机制非常适合控制对外部服务的并发请求数量,避免触发限流或耗尽连接池。
并行度的选择需要根据具体业务权衡。设置过低会导致吞吐量不足,任务总耗时接近串行执行;设置过高则可能让目标服务出现过载,甚至拖垮整个事件循环。通常建议从较小的值开始压测,逐步上调,观察响应时间和错误率的变化。
二、结果收集的两种典型方式
如果只需要执行副作用,比如写日志、发送通知,使用 each 就够了。但如果需要拿到每个任务的返回值,就要用到 map 方法。map 的回调中不再调用 iter.next,而是调用 iter.return 并把结果传出去。所有结果会被收集到一个数组中,最终通过完成回调一次性返回。
require 'eventmachine'
EM.run do
items = [10, 20, 30, 40]
iterator = EM::Iterator.new(items, 3)
iterator.map(
proc { |item, iter|
EM.add_timer(rand(0.1..0.5)) do
squared = item * item
iter.return(squared)
end
},
proc { |results|
puts "全部结果: #{results.inspect}"
EM.stop
}
)
end
这段代码会把每个数字平方后返回,最终完成回调中的 results 是一个包含四个平方值的数组。需要注意的是,map 返回的结果数组顺序并不保证与原始集合顺序一致。因为并发任务完成时间不同,先完成的任务会先把结果放进结果数组。在上面的例子中,如果 30 的平方计算最快完成,它可能出现在结果数组的第一位。如果业务对顺序有强要求,就需要自己维护索引信息。
除了使用 map,还可以在 each 的回调中手动把结果追加到一个共享数组里。这种方式更灵活,但需要自己处理并发写入的同步问题。由于 EventMachine 是单线程事件循环,同一个回调内不会出现真正的数据竞争,但多次追加的顺序同样取决于完成顺序。如果希望保持原始顺序,可以在每个回调中根据原始索引写入到数组的固定位置。
三、顺序保证、错误处理与资源泄漏
正如前面提到的,map 返回的结果顺序可能和输入顺序不一致。如果结果需要保持顺序,可以在启动任务时把索引一并传入,然后在结果数组的对应位置赋值。下面的代码演示了这种做法的基本思路:预先创建一个长度与集合相同的数组,每个任务完成时将结果写入指定下标,完成回调中得到的数组就是按照原始顺序排列的。
require 'eventmachine'
EM.run do
items = %w[apple banana cherry]
ordered_results = Array.new(items.length)
iterator = EM::Iterator.new(items, 2)
iterator.each do |item, iter|
index = items.index(item)
EM.add_timer(rand(0.1..0.4)) do
ordered_results[index] = item.upcase
iter.next
end
end
EM.add_timer(1) do
puts ordered_results.inspect
EM.stop
end
end
这里使用 items.index(item) 获取索引只是一种演示,实际项目中如果集合元素有重复,这种方式会出现问题,更好的做法是在创建迭代器前把元素和索引打包成结构体或使用 each_with_index 构建新的数组。无论采用哪种方式,核心思路都是把顺序信息保存在任务上下文中,而不是依赖完成回调的触发顺序。
错误处理是另一个容易忽略的环节。在异步回调中,如果代码抛出异常,EventMachine 默认会捕获并打印,但迭代器可能因此失去调用 iter.next 的机会,导致后续任务全部阻塞。稳妥的做法是在每个回调内部使用 begin rescue 捕获异常,并在 ensure 中确保 iter.next 或 iter.return 一定会被执行。对于 map,也可以在捕获异常后通过 iter.return 返回一个错误对象或 nil,让整个流程继续走下去。
iterator.each do |item, iter|
begin
# 可能抛出异常的异步操作
process(item)
iter.next
rescue StandardError => e
puts "处理 #{item} 失败: #{e.message}"
iter.next
end
end
在上面的代码中,无论 process(item) 成功还是失败,iter.next 都会在相应的分支中被调用。这样可以避免一个元素的异常拖垮整个批量任务。对于需要记录失败元素的情况,可以在 rescue 分支中把失败信息写入一个错误列表,最后统一处理。
四、批量HTTP请求的并发控制实战
一个非常典型的应用场景是批量请求外部 API。假设有一个 URL 列表,需要并发抓取内容,但服务器只允许同时最多 5 个连接。使用 EM::Iterator 可以很自然地实现这个限制。下面的示例使用 em-http-request 库发起异步 GET 请求,并将响应状态码收集到结果数组中。
require 'eventmachine'
require 'em-http-request'
EM.run do
urls = [
'https://ipipp.com/api/1',
'https://ipipp.com/api/2',
'https://ipipp.com/api/3',
'https://ipipp.com/api/4',
'https://ipipp.com/api/5',
'https://ipipp.com/api/6'
]
statuses = []
iterator = EM::Iterator.new(urls, 5)
iterator.each do |url, iter|
http = EM::HttpRequest.new(url).get
http.callback do
statuses << [url, http.response_header.status]
iter.next
end
http.errback do
statuses << [url, -1]
iter.next
end
end
EM.add_timer(10) do
puts statuses.inspect
EM.stop
end
end
在这个例子中,并行度被设置为 5,意味着任意时刻最多有 5 个 HTTP 请求同时进行。每个请求完成后,无论是成功回调还是错误回调,都会把结果追加到 statuses 数组中,并调用 iter.next 启动下一个请求。最后的 EM.add_timer(10) 是一个兜底保护,防止某个请求长时间挂起导致事件循环无法退出。实际项目中可以根据超时时间调整这个值,或者在 EM::HttpRequest 中设置 timeout 选项。
这种模式还可以扩展到数据库批量写入、批量文件读取等场景。关键点在于:并行度限制保证了资源不会被一次性耗尽,而 iter.next 的调用则驱动整个遍历过程持续向前推进。只要每个回调分支都正确调用了推进方法,EM::Iterator 就能在事件驱动的环境中稳定地完成批量任务。
EventMachine::Iterator并发控制并行度限制修改时间:2026-10-30 14:01:41