在服务器运维或者数据迁移场景中，经常需要在两台机器之间传输大量文件，普通scp传输大文件或者海量小文件时速度往往达不到预期，这时候可以通过tar结合lz4、pigz压缩工具，再配合ssh管道传输来提升效率。
为什么要选择这种组合方式
传统的文件传输方式存在几个明显的短板：scp传输单个大文件时无法利用压缩减少传输体积，传输海量小文件时频繁建立连接会消耗大量时间；普通tar加gzip压缩虽然能减小体积，但gzip压缩速度慢，单核运行无法发挥多核CPU的性能。
而tar+lz4/pigz+ssh的组合刚好能解决这些问题：
- tar负责把多个文件或者目录打包成单个数据流，避免小文件传输的性能损耗
- lz4压缩速度快、解压速度极快，适合对压缩率要求不高但追求速度的场景
- pigz是gzip的多核并行版本，压缩率高且能利用多核CPU，适合对压缩体积有要求的场景
- ssh负责加密传输，同时管道方式不需要中间生成临时文件，减少磁盘IO消耗
基础用法说明
使用lz4的传输方式
首先确保两台机器都安装了lz4工具，如果没有可以通过包管理器安装，比如centos系统执行yum install -y lz4，ubuntu系统执行apt install -y lz4。
从本地传输目录到远程服务器的命令如下：
# 本地执行，将/data/dir目录传输到远程服务器的/backup目录下 tar -c /data/dir | lz4 - | ssh user@remote_ip "lz4 -d | tar -x -C /backup"
命令解析：
tar -c /data/dir：打包本地/data/dir目录，输出打包后的数据流lz4 -：读取标准输入的数据流，用lz4压缩后输出到标准输出ssh user@remote_ip "lz4 -d | tar -x -C /backup"：通过ssh连接到远程服务器，先执行lz4解压，再执行tar解包到/backup目录
如果是从远程服务器拉取文件到本地，命令调整为：
# 本地执行，从远程服务器拉取/data/dir目录到本地的/backup目录 ssh user@remote_ip "tar -c /data/dir | lz4 -" | lz4 -d | tar -x -C /backup
使用pigz的传输方式
同样先确保两台机器安装了pigz，centos执行yum install -y pigz，ubuntu执行apt install -y pigz。
推送文件到远程服务器的命令如下：
# 本地执行，使用pigz并行压缩，指定4个线程压缩 tar -c /data/dir | pigz -p 4 | ssh user@remote_ip "pigz -d -p 4 | tar -x -C /backup"
拉取远程文件的命令如下：
# 本地执行，从远程拉取文件 ssh user@remote_ip "tar -c /data/dir | pigz -p 4" | pigz -d -p 4 | tar -x -C /backup
pigz的-p参数可以指定使用的CPU线程数，一般设置为机器CPU核心数即可，能充分利用多核性能提升压缩速度。
两种压缩工具的选择建议
可以根据实际场景选择对应的工具：
| 场景 | 推荐工具 | 原因 |
|---|---|---|
| 传输速度优先，文件本身压缩率不高 | lz4 | lz4压缩和解压速度远超pigz，几乎不占用CPU资源，适合快速传输已经压缩过的文件或者大文件 |
| 带宽有限，需要尽量减小传输体积 | pigz | pigz压缩率和gzip接近，比lz4压缩率高很多，适合传输文本、日志等可压缩性强的文件 |
| 海量小文件传输 | 两者都可以，优先lz4 | tar打包已经解决了小文件问题，lz4速度更快，整体传输耗时更短 |
注意事项
- 传输前确保两端机器的压缩工具版本兼容，避免解压失败
- 如果ssh默认端口不是22，需要在ssh命令后加上
-p 端口号参数 - 传输大文件时可以先测试小体积数据，确认命令正确后再执行全量传输
- 如果网络不稳定，可以搭配
screen或者tmux工具执行命令，避免断开连接导致传输中断 - 注意目标目录的权限，确保执行ssh的用户对目标目录有写入权限
这种组合方式不需要额外的复杂配置，只需要安装对应的压缩工具就能使用，相比传统传输方式效率提升非常明显，尤其是跨地域服务器传输大体积数据时，能节省大量时间。