Linux系统凭借稳定的性能和强大的命令行生态，成为很多数据处理场景的首选环境，不需要复杂的图形化操作，通过简单的命令组合就能完成大部分数据分析任务。
Linux数据分析常用基础工具
Linux自带的核心工具已经能满足大部分基础数据处理需求，这些工具轻量且执行效率高，适合处理文本类、结构化数据。
1. 文本处理三剑客
- grep：用于按条件筛选数据行，支持正则表达式匹配，适合快速提取目标数据。
- awk：功能强大的列处理工具，支持自定义分隔符、数值计算、条件判断，是结构化数据处理的利器。
- sed：流编辑器，主要用于批量替换、删除、插入文本内容，适合做数据清洗。
2. 其他实用工具
- sort：对数据行进行排序，支持按数值、指定列排序。
- uniq：配合sort使用，用于去重和统计重复行数量。
- wc：统计文件行数、单词数、字节数，快速了解数据规模。
基础数据分析实操示例
假设我们有一个名为sales_data.txt的销售数据文件，内容格式如下，第一列是日期，第二列是商品名称，第三列是销售数量，第四列是销售金额，列之间用逗号分隔：
2024-01-01,笔记本,5,4500 2024-01-01,鼠标,12,360 2024-01-02,笔记本,3,2700 2024-01-02,键盘,8,1200 2024-01-01,鼠标,7,210 2024-01-03,笔记本,6,5400
1. 查看数据基本信息
首先查看数据的总行数，排除表头的话可以知道有多少条销售记录：
# 统计文件总行数 wc -l sales_data.txt
2. 筛选指定商品的数据
提取所有笔记本的销售记录：
# 筛选第二列为笔记本的行 grep "笔记本" sales_data.txt # 更精准的方式，避免匹配到商品名包含笔记本的其他内容 awk -F ',' '$2=="笔记本"' sales_data.txt
3. 统计各商品总销售数量
按商品名称分组，计算总销售数量：
# 按第二列分组，对第三列求和
awk -F ',' '{sum[$2]+=$3} END {for (item in sum) print item, sum[item]}' sales_data.txt
4. 按销售金额排序取Top2
先按销售金额降序排序，再取前两条记录：
# 按第四列数值降序排序，取前2行 sort -t ',' -k4 -nr sales_data.txt | head -n 2
结合Python扩展分析能力
当需要处理更复杂的分析逻辑，比如数据可视化、机器学习建模时，可以结合Linux下的Python环境，用Shell脚本调用Python程序完成流程串联。
1. 安装Python数据分析库
Linux下通常自带Python3，通过包管理工具安装常用库：
# Ubuntu/Debian系统安装 sudo apt update sudo apt install python3-pip pip3 install pandas matplotlib
2. 编写Python分析脚本
创建analyze_sales.py文件，实现销售数据读取和可视化：
import pandas as pd
import matplotlib.pyplot as plt
# 读取数据，指定分隔符为逗号
df = pd.read_csv('sales_data.txt', header=None, names=['date', 'product', 'count', 'amount'])
# 按商品分组统计总销售额
product_sales = df.groupby('product')['amount'].sum()
# 绘制柱状图
plt.bar(product_sales.index, product_sales.values)
plt.xlabel('商品名称')
plt.ylabel('总销售额')
plt.title('各商品总销售额统计')
plt.savefig('sales_result.png')
print("可视化结果已保存为sales_result.png")
3. 用Shell脚本串联全流程
创建run_analysis.sh脚本，自动完成数据清洗、Python分析、结果输出的全流程：
#!/bin/bash
# 数据清洗：去除可能的空行
sed -i '/^$/d' sales_data.txt
# 调用Python分析脚本
python3 analyze_sales.py
# 输出分析结果文本
echo "各商品总销售额："
awk -F ',' '{sum[$2]+=$4} END {for (item in sum) print item, sum[item]}' sales_data.txt
给脚本添加执行权限后直接运行即可：
chmod +x run_analysis.sh ./run_analysis.sh
注意事项
- 处理大文件时，尽量避免把整个文件加载到内存，优先使用流式的命令行工具处理。
- 使用
awk、sed等工具时，注意指定正确的列分隔符，避免数据解析错误。 - Shell脚本中的变量引用尽量加上双引号，避免文件名包含空格时出现解析问题。
- 如果需要处理非结构化数据，可以结合
jq处理JSON数据，xmlstarlet处理XML数据。