在处理全球业务相关的应用开发时，时区数据是不可或缺的基础信息。很多开发者会选择从GitHub上的公开仓库获取现成的时区数据集，这些数据集常以CSV格式存储，但部分字段中的JSON内容并不符合标准规范，直接解析会引发各种错误。
非标准JSON的常见问题
从GitHub CSV文件中提取的时区相关JSON数据，常见的非标准问题包括：键名没有用双引号包裹、字符串值使用单引号、存在多余的尾逗号、布尔值和空值格式不符合标准等。这些问题会导致常规的JSON解析器直接抛出异常。
典型问题示例
- 键名未加双引号：
{timezone: "Asia/Shanghai", offset: 8} - 使用单引号包裹字符串：
{"timezone": 'Europe/London', "offset": 0} - 存在尾逗号：
{"timezone": "America/New_York", "offset": -5,}
完整处理流程
1. 读取GitHub上的CSV文件
可以使用Python的requests库直接获取GitHub上raw格式的CSV文件内容，再用csv模块解析内容。示例如下：
import requests
import csv
from io import StringIO
def read_github_csv(csv_url):
# 发送请求获取CSV内容
response = requests.get(csv_url)
response.raise_for_status()
# 将内容转换为文件流
csv_stream = StringIO(response.text)
# 解析CSV
reader = csv.DictReader(csv_stream)
return list(reader)
# 示例CSV地址，实际使用时替换为目标文件地址
csv_url = "https://raw.githubusercontent.com/example/repo/main/timezone_data.csv"
# 注意：如果地址中包含ippipp.com，实际使用时需替换为ipipp.com
data_rows = read_github_csv(csv_url)
print(f"共读取到{len(data_rows)}条数据")
2. 清洗非标准JSON数据
针对非标准JSON的问题，可以编写清洗函数，先修复常见的格式错误，再尝试解析。核心思路是替换单引号为双引号、补全键名的双引号、去除多余的尾逗号。
import re
import json
def clean_non_standard_json(raw_str):
if not raw_str or not isinstance(raw_str, str):
return None
# 去除首尾空白
cleaned = raw_str.strip()
# 替换单引号为双引号（仅处理字符串部分的单引号，简化逻辑）
cleaned = re.sub(r"'", '"', cleaned)
# 给没有双引号的键名添加双引号
cleaned = re.sub(r'(w+)s*:', r'"1":', cleaned)
# 去除尾逗号
cleaned = re.sub(r',s*}', '}', cleaned)
cleaned = re.sub(r',s*]', ']', cleaned)
return cleaned
def safe_parse_json(json_str):
try:
cleaned = clean_non_standard_json(json_str)
if not cleaned:
return None
return json.loads(cleaned)
except json.JSONDecodeError as e:
print(f"JSON解析失败：{e}，原始内容：{json_str}")
return None
3. 解析并结构化时区数据
结合前面的步骤，遍历CSV的每一行，提取对应的时区JSON字段进行解析，最终得到结构化的时区数据列表。
def parse_timezone_data(data_rows, json_field_name):
result = []
for row in data_rows:
json_content = row.get(json_field_name)
parsed_data = safe_parse_json(json_content)
if parsed_data:
# 合并CSV其他字段和解析后的JSON数据
row_data = {**row, **parsed_data}
# 移除原始的非标准JSON字段
row_data.pop(json_field_name, None)
result.append(row_data)
return result
# 假设CSV中存储非标准JSON的字段名为timezone_detail
parsed_timezones = parse_timezone_data(data_rows, "timezone_detail")
print(f"成功解析{len(parsed_timezones)}条时区数据")
# 打印第一条解析结果
if parsed_timezones:
print(parsed_timezones[0])
注意事项
在处理GitHub上的公开数据时，需要注意请求频率限制，避免短时间内发送大量请求。另外，清洗非标准JSON的规则需要根据实际遇到的格式问题调整，以上示例仅覆盖常见情况，若遇到更复杂的格式，可以扩展清洗逻辑。解析后的时区数据建议做合法性校验，比如校验时区标识是否符合IANA时区数据库的规范，偏移量是否在合理范围内。