网络协议逆向中如何用Ruby构建关键词字典？

做网络协议逆向时，无论是对未知流量做特征识别，还是对私有协议做字段还原，一份组织良好的关键词字典往往能让分析效率翻倍。很多协议在握手、鉴权、命令下发等环节会携带固定格式的字符串或魔数，如果手工一条条记录，既容易遗漏又难以维护。用Ruby来构建和管理这样的字典，得益于其简洁的语法和丰富的集合操作方法，可以快速实现字典的生成、去重、排序、分组和持久化，非常适合在逆向分析流程中作为辅助工具链的一环。

为什么协议逆向需要关键词字典

协议逆向的本质是从抓包数据或二进制样本中还原出协议的字段结构和交互逻辑。在这个过程中，分析人员需要不断比对大量报文，寻找那些在多个报文中重复出现、位置相对固定的字节序列或字符串。这些特征可能是协议版本号、命令码的字符串表示、设备型号标识，也可能是类似Content-Type这样的头部字段名。把它们整理成字典，好处有三点。

第一，字典可以作为后续自动化分析的输入，比如喂给特征匹配脚本，批量扫描pcap文件；第二，字典本身是文档，新成员拿到字典就能快速了解协议的关键特征；第三，字典是可增量维护的，随着逆向深入不断补充新发现的关键词，形成知识沉淀。

Ruby的Array和Hash提供了非常顺手的方法来完成这些工作，比如uniq去重、group_by分组、sort_by排序，下面我们逐一展开。

用基础数组构建第一版字典

最直接的方式是用数组保存关键词，每个元素是一个包含关键词及其元信息的哈希。元信息可以包括关键词类型、出现频率、首次出现的报文编号等，这些信息在后期筛选高价值关键词时非常重要。

先看一个最简单的实现，从抓包提取出的原始字符串列表构建字典并统计频次：

# 原始提取的字符串，通常来自pcap解析或二进制strings提取
raw_strings = [
  "HELO", "AUTH", "GET_STATUS", "SET_CONFIG",
  "device_type=GW200", "ver=1.3.2", "HELO", "AUTH"
]

# 统计每个关键词出现的次数
freq = raw_strings.tally

# 构建字典条目：关键词 + 频次 + 长度
dict = raw_strings.uniq.map do |kw|
  {
    keyword: kw,
    count: freq[kw],
    length: kw.length,
    category: kw =~ /=/ ? :field : :command
  }
end

dict.sort_by { |e| -e[:count] }.each { |e| puts format("%-20s count=%d cat=%s", e[:keyword], e[:count], e[:category]) }

这段代码的思路是：先用tally统计频次，再用uniq去掉重复项后逐条构建结构化条目，最后按出现次数降序排列。出现次数多的关键词，往往是协议核心流程的命令或字段，值得优先深入分析。

分类逻辑这里用了简单的正则判断，包含等号的大概率是键值对形式的字段，其余的按命令处理。实际逆向中，分类规则会根据协议特征细化，比如按十六进制魔数、按ASCII可打印长度、按出现位置偏移来分类。

进阶：多维度索引与分组管理

当关键词数量达到数百上千条时，单纯的平铺数组就不够用了。此时应该建立索引，比如按首字母索引、按类别索引、按报文方向（上行或下行）索引。Ruby的group_by配合嵌套Hash可以轻松实现。

entries = [
  { keyword: "HELO",       dir: :up,   cat: :command, offset: 0  },
  { keyword: "AUTH",       dir: :up,   cat: :command, offset: 4  },
  { keyword: "OK",         dir: :down, cat: :response, offset: 0 },
  { keyword: "ERR_CODE",   dir: :down, cat: :response, offset: 0 },
  { keyword: "device_type", dir: :up,  cat: :field,    offset: 12 }
]

class KeywordDict
  def initialize
    @entries = []
  end

  def add(entry)
    @entries << entry unless exists?(entry[:keyword])
  end

  def exists?(keyword)
    @entries.any? { |e| e[:keyword] == keyword }
  end

  def by_category
    @entries.group_by { |e| e[:cat] }
  end

  def by_direction
    @entries.group_by { |e| e[:dir] }
  end

  # 模糊查询：查找包含指定片段的所有关键词
  def search(fragment)
    @entries.select { |e| e[:keyword].include?(fragment) }
  end
end

dict = KeywordDict.new
entries.each { |e| dict.add(e) }
pp dict.by_direction[:up].map { |e| e[:keyword] }

封装成类之后，字典就具备了增删查和分组索引的能力。特别值得一提的是模糊查询方法search，在逆向过程中经常会遇到只记得关键词一部分的情况，比如记得某个字段名里有type三个字母，直接调用dict.search("type")就能定位到所有候选条目。

另外建议为每个条目增加offset字段，记录关键词在报文中出现的典型偏移。对于结构固定的二进制协议，固定偏移是极强的特征，甚至可以直接用来做协议指纹识别。如果某个关键词在不同报文中的偏移总是为0，那它很可能是协议头部的魔数。

字典持久化与格式化输出

字典构建好之后必须落盘保存，否则每次分析都要重建。Ruby标准库中的json可以满足大部分需求，跨语言兼容性好，Python的分析脚本也能直接读取。同时，为了方便导入Wireshark或YARA等工具，往往还需要输出特定格式。

require 'json'

class KeywordDict
  def save_json(path)
    File.write(path, JSON.pretty_generate(@entries))
  end

  def self.load_json(path)
    dict = new
    data = JSON.parse(File.read(path), symbolize_names: true)
    data.each { |e| dict.add(e) }
    dict
  end

  # 输出Wireshark可导入的显示过滤表达式片段
  def to_display_filters
    @entries.map { |e| %(frame contains "#{e[:keyword]}") }.join(" || ")
  end

  # 输出纯文本字典，每行一条，附带注释
  def to_plain_text
    @entries.map do |e|
      "# #{e[:cat]} #{e[:dir]} offset=#{e[:offset]}\n#{e[:keyword]}"
    end.join("\n")
  end
end

dict.save_json("protocol_dict.json")
restored = KeywordDict.load_json("protocol_dict.json")
puts restored.to_display_filters

to_display_filters生成的过滤表达式可以直接粘贴到Wireshark的显示过滤器中使用，一次批量验证所有关键词在真实流量中的命中情况，这比手工逐条搜索快得多。to_plain_text则适合生成人类可读的文档版本，注释里保留了类别、方向和偏移信息。

需要注意JSON持久化时的编码问题。从二进制样本中提取的字符串可能包含非UTF-8字节，直接写入JSON会抛异常。稳妥的做法是在提取阶段就用str.force_encoding("BINARY")或str.scrub做清理，把无效字节替换掉或直接跳过，保证字典数据的干净。

面向二进制协议的关键词提取技巧

文本协议的关键词提取相对简单，而二进制协议中夹杂的ASCII片段才是关键词的重要来源。可以从抓包数据或固件镜像中批量提取可打印字符串，再按长度和位置过滤。下面是一个从二进制数据中滑动提取ASCII串并更新字典的示例：

def extract_ascii_strings(data, min_len = 4)
  data.scan(/[\x20-\x7e]{#{min_len},}/)
end

# 假设payload是多个报文体拼接后的二进制数据
payload = "\x00\x01HELO\x00\x10device_type=GW300\x00\x02AUTH_TOKEN_9f2a"

candidates = extract_ascii_strings(payload)
candidates.each do |s|
  dict.add(keyword: s, dir: :unknown, cat: :raw, offset: payload.index(s))
end

# 过滤出疑似字段名的候选：包含下划线或等号且全大写或全小写
strong = dict.search("").select do |e|
  e[:keyword] =~ /[_=]/ && e[:keyword] =~ /\A[a-zA-Z_=0-9]+\z/
end
pp strong.map { |e| e[:keyword] }

提取出的原始字符串需要二次筛选，因为固件中的字符串很多是日志模板、调试信息，与协议本身无关。一个实用的筛选技巧是交叉验证：把从多个不同会话、不同固件版本中提取的字符串做交集，只有那些在多个来源中都稳定出现的字符串，才有较大概率是协议关键词。用Ruby表达就是a & b & c，直接对数组取交集即可。

最后强调一点，字典的价值在于持续维护。建议把字典构建脚本纳入逆向分析的日常工作流，每完成一轮抓包分析就增量更新一次字典，同时用版本控制工具管理字典文件，记录每次新增关键词的来源和时间。日积月累之后，这份字典会成为协议逆向项目中最有价值的资产之一。

协议逆向Ruby关键词字典修改时间：2026-09-04 05:22:47