在Go语言项目里，数据聚合通常指从多个接口、数据库或文件中读取数据，再合并成统一结果返回。借助goroutine的轻量特性，我们可以让这些读取操作并行执行，从而显著缩短整体耗时。
为什么需要并发数据聚合
假设我们要聚合三个外部服务的数据，每个服务平均响应时间为300毫秒。串行调用总耗时约900毫秒，而并发调用只需约300毫秒。Golang天生支持并发，使用goroutine和channel就能以很低的成本实现这种优化。
基础实现：goroutine加channel
最直观的方式是为每个任务启动一个goroutine，把结果发送到一个channel中，主协程再从channel读取并汇总。
package main
import (
"fmt"
"time"
)
// 模拟从某个数据源获取数据
func fetchData(source string, ch chan<- string) {
time.Sleep(300 * time.Millisecond)
ch <- source + ":done"
}
func main() {
ch := make(chan string, 3)
sources := []string{"api1", "api2", "api3"}
for _, s := range sources {
go fetchData(s, ch)
}
// 从channel汇总结果
for i := 0; i < len(sources); i++ {
result := <-ch
fmt.Println("收到:", result)
}
}
使用sync.WaitGroup控制等待
当任务数量动态或结果结构复杂时，用channel计数不够直观。可以配合sync.WaitGroup明确等待所有goroutine结束。
package main
import (
"fmt"
"sync"
"time"
)
func worker(id int, wg *sync.WaitGroup, result *[]int, mu *sync.Mutex) {
defer wg.Done()
time.Sleep(200 * time.Millisecond)
val := id * 10
mu.Lock()
*result = append(*result, val)
mu.Unlock()
}
func main() {
var wg sync.WaitGroup
var mu sync.Mutex
result := make([]int, 0)
for i := 1; i <= 5; i++ {
wg.Add(1)
go worker(i, &wg, &result, &mu)
}
wg.Wait()
fmt.Println("聚合结果:", result)
}
常见协作模式对比
| 方式 | 适用场景 | 优点 | 注意点 |
|---|---|---|---|
| channel收集 | 任务数固定、结果单一 | 写法直观，天然同步 | 需知道接收次数 |
| WaitGroup加锁 | 任务动态、写共享切片 | 逻辑清晰，易扩展 | 必须用mutex防竞态 |
| errgroup | 需错误短路 | 自动取消其他任务 | 引入额外包 |
避免常见坑
- 不要通过共享变量不加锁方式汇总，会引发数据竞争。
- goroutine中如发生panic，会导致程序崩溃，必要时用recover处理。
- channel若不关闭且接收次数错误，主协程会死锁。
并发聚合的核心是把独立任务拆出去并行跑，再用安全机制把结果收回来。选对协作方式，代码既快又稳。
小结
使用Golang实现并发数据聚合并不复杂。小型任务可用goroutine配合channel快速完成；稍复杂的汇总建议结合sync.WaitGroup与互斥锁。理解这些协作方法后，你能轻松应对多数聚合类接口的开发需求。