在开发过程中，YAML文件常被用来存储配置信息或者结构化数据，当文件内容复杂时，很容易出现特定键值对重复定义的情况，这类问题可能会导致程序读取配置时出现异常。使用Python可以快速完成YAML文件中特定键值对重复项的查找工作。
实现思路
整个查找过程可以分为几个核心步骤：首先读取YAML文件内容，然后解析YAML为Python可操作的数据结构，接着遍历结构提取目标键值对，统计每个键值对的出现次数，最后筛选出出现次数大于1的重复项。
依赖库准备
需要安装PyYAML库来解析YAML文件，使用pip命令安装即可：
pip install pyyaml
核心实现步骤
1. 读取并解析YAML文件
使用PyYAML的safe_load方法将YAML文件内容转换为Python的字典或者列表结构，方便后续遍历处理。
2. 递归遍历数据结构提取键值对
由于YAML解析后的结构可能包含嵌套的字典和列表，需要编写递归函数来遍历所有层级，提取指定键对应的键值对。
3. 统计键值对出现次数
使用字典来记录每个键值对的出现次数，键为键值对组成的元组，值为出现的次数。
4. 筛选重复项
遍历统计字典，找出出现次数大于1的键值对，即为需要查找的重复项。
完整代码示例
以下代码实现了查找YAML文件中所有重复键值对的功能，你可以根据需要调整要查找的目标键：
import yaml
from collections import defaultdict
def find_duplicate_key_value(yaml_file_path, target_key=None):
"""
查找YAML文件中的重复键值对
:param yaml_file_path: YAML文件路径
:param target_key: 指定要查找的键，为None时查找所有键的重复项
:return: 重复键值对列表，每个元素为(键, 值, 出现次数)
"""
# 读取并解析YAML文件
with open(yaml_file_path, 'r', encoding='utf-8') as f:
yaml_data = yaml.safe_load(f)
# 用于存储键值对出现次数的字典
kv_count = defaultdict(int)
# 用于存储键值对对应的路径，方便定位
kv_paths = defaultdict(list)
def traverse(data, current_path=''):
"""递归遍历数据结构，提取键值对"""
if isinstance(data, dict):
for key, value in data.items():
# 构造当前键值对的路径
new_path = f"{current_path}.{key}" if current_path else key
# 如果指定了目标键，只处理目标键
if target_key is None or key == target_key:
kv_tuple = (key, value)
kv_count[kv_tuple] += 1
kv_paths[kv_tuple].append(new_path)
# 递归处理值
traverse(value, new_path)
elif isinstance(data, list):
for index, item in enumerate(data):
new_path = f"{current_path}[{index}]"
traverse(item, new_path)
# 开始遍历
traverse(yaml_data)
# 筛选重复项
duplicates = []
for (key, value), count in kv_count.items():
if count > 1:
duplicates.append({
'key': key,
'value': value,
'count': count,
'paths': kv_paths[(key, value)]
})
return duplicates
# 使用示例
if __name__ == '__main__':
# 替换为你的YAML文件路径
yaml_path = 'test.yaml'
# 查找所有重复键值对，若要查找特定键比如'name'，传入target_key='name'
result = find_duplicate_key_value(yaml_path)
if result:
print("找到以下重复键值对：")
for item in result:
print(f"键：{item['key']}，值：{item['value']}，出现次数：{item['count']}")
print(f"出现位置：{', '.join(item['paths'])}")
print('-' * 50)
else:
print("未找到重复的键值对")
代码说明
上述代码中的traverse函数会递归遍历YAML解析后的所有数据结构，不管是嵌套字典还是列表都能覆盖到。如果传入了target_key参数，只会统计该键对应的键值对重复情况，不传入则会检查所有键的重复项。
返回的重复项信息中包含了键值对的出现位置路径，方便你快速定位到YAML文件中重复定义的位置，进行修改。
注意事项
- YAML文件中的值如果是复杂对象，比如嵌套字典，会被当作整体来比较，只有完全相同的复杂对象才会被判定为重复。
- 如果YAML文件中存在锚点（&）和别名（*），
safe_load会自动解析别名，解析后的重复项也会被正常统计。 - 处理大文件时，递归遍历可能会有栈溢出的风险，可以根据实际情况调整为迭代遍历的方式。