linux管道是linux系统中用于进程间通信的一种机制,同时它也是shell命令中常用的功能,能够实现多个命令之间的数据流转,让命令组合使用变得更加灵活高效。

linux管道的基本概念
linux管道本质上是一种内核提供的进程间通信方式,它的核心作用是把一个进程的标准输出,直接传递给另一个进程的标准输入,中间不需要经过磁盘等外部存储设备中转。在shell命令中,我们使用竖线符号|来表示管道,这个符号左侧的命令输出会成为右侧命令的输入。
比如我们想查看当前目录下文件数量,就可以用ls -l | wc -l这样的命令组合,这里|就是管道符号,它把ls -l的输出结果直接传给wc -l命令处理。
linux管道的工作原理
当我们在shell中输入包含管道的命令时,shell会做以下几件事:
- 创建管道对象,这个对象在内核中维护一块缓冲区,用来临时存储传递的数据
- 启动管道左侧的命令进程,将其标准输出重定向到管道的写入端
- 启动管道右侧的命令进程,将其标准输入重定向到管道的读取端
- 等待两个进程执行完成,最后回收相关资源
管道中的数据是单向流动的,只能从左向右传递,而且它是半双工的,同一时间只能有一个方向的数据传输。另外管道中的数据传输是流式的,写入端写入的数据会被读取端按顺序读取,读取后数据就会从管道缓冲区中移除。
linux管道的常见使用场景
1. 过滤命令输出结果
比如我们要查看进程中包含nginx关键词的进程,可以用ps aux | grep nginx,ps aux输出所有进程信息,管道把这些信息传给grep命令做过滤。
# 查看所有进程中包含nginx的进程 ps aux | grep nginx # 查看当前目录下以.txt结尾的文件 ls -l | grep ".txt$"
2. 统计和排序数据
比如我们要统计某个日志文件中出现次数最多的IP地址,可以组合使用多个命令:
# 假设日志文件是access.log,每行第一个字段是IP
# 先提取IP,然后排序,再去重统计数量,最后按数量倒序排序取前10
cat access.log | awk '{print $1}' | sort | uniq -c | sort -nr | head -10
3. 处理文本内容
比如我们要把某个文件中的所有小写字母转为大写,可以用cat file.txt | tr 'a-z' 'A-Z',管道把文件内容传给tr命令做转换。
# 将test.txt中的小写字母转为大写 cat test.txt | tr 'a-z' 'A-Z' # 替换文件中的指定字符串,把hello换成world cat test.txt | sed 's/hello/world/g'
linux管道的注意事项
- 管道只能处理标准输出,如果命令的错误信息输出到标准错误流,默认是不会通过管道传递的,如果需要传递错误信息,需要先把标准错误重定向到标准输出,比如
ls not_exist 2>&1 | grep not_exist - 管道中的数据是临时存储在内核缓冲区的,缓冲区大小有限,如果写入速度远快于读取速度,写入进程会被阻塞,直到读取进程取走部分数据
- 管道是匿名的,它只存在于当前命令执行的进程生命周期中,命令执行完成后管道就会被销毁,不能在不同命令执行周期之间复用
命名管道和匿名管道的区别
我们平时在shell中用的|创建的是匿名管道,除此之外linux还有命名管道,两者的区别如下:
| 对比项 | 匿名管道 | 命名管道 |
|---|---|---|
| 创建方式 | shell中用|创建,或者调用pipe()函数创建 | 调用mkfifo命令或者mkfifo()函数创建 |
| 存在周期 | 随进程生命周期结束而销毁 | 只要不被删除,会一直存在于文件系统中 |
| 访问方式 | 只能在具有亲缘关系的进程或者当前shell命令组合中使用 | 任何有权限的进程都可以通过路径访问 |
| 标识方式 | 没有文件名,通过文件描述符访问 | 有对应的文件路径,比如/tmp/myfifo |
命名管道的创建和使用示例如下:
# 创建命名管道 mkfifo /tmp/test_fifo # 终端1:向命名管道写入数据 echo "hello pipe" > /tmp/test_fifo # 终端2:从命名管道读取数据,会读到hello pipe cat /tmp/test_fifo # 使用完成后删除命名管道 rm /tmp/test_fifo