定时抓取数据是很多业务场景下的常见需求，比如资讯聚合、价格监控、舆情分析等，都需要定期从目标数据源获取最新内容。但重复抓取产生的冗余数据、部分数据字段缺失的问题，会直接影响后续数据处理和使用的效率，因此需要针对性的去重和数据填充策略来保障数据质量。
一、定时抓取场景下的数据去重策略
1. 基于唯一标识的增量去重
如果目标数据本身带有唯一标识，比如文章ID、商品SKU、订单编号等，这是最高效的去重方式。只需要维护一个已抓取标识的集合，每次抓取前先检查当前数据的标识是否存在于集合中，不存在再入库。
以Python为例，使用Redis存储已抓取标识的实现如下：
import redis
import requests
# 连接Redis，存储已抓取的标识
r = redis.Redis(host='127.0.0.1', port=6379, db=0)
def fetch_data_with_id_dedup(target_url):
# 模拟获取抓取到的数据列表，每条数据包含unique_id字段
resp = requests.get(target_url)
data_list = resp.json().get('data', [])
new_data = []
for item in data_list:
item_id = item.get('unique_id')
# 检查标识是否已存在，不存在则加入新数据列表并标记已抓取
if not r.sismember('fetched_ids', item_id):
new_data.append(item)
r.sadd('fetched_ids', item_id)
return new_data2. 基于内容哈希的全量去重
如果数据没有天然唯一标识，可以对核心内容计算哈希值作为去重依据。比如抓取文章时，可以取标题加正文前200字计算MD5值，相同哈希值说明内容重复。
实现示例如下：
import hashlib
def calc_content_hash(title, content):
# 拼接标题和正文前200字，计算MD5哈希
base_str = f"{title}{content[:200]}"
md5 = hashlib.md5(base_str.encode('utf-8')).hexdigest()
return md5
def dedup_by_hash(data_list, hash_set):
new_data = []
for item in data_list:
content_hash = calc_content_hash(item['title'], item['content'])
if content_hash not in hash_set:
item['content_hash'] = content_hash
new_data.append(item)
hash_set.add(content_hash)
return new_data二、数据缺失的填充策略
1. 同数据源回溯补全
部分字段缺失是因为抓取时目标页面加载不完整，或者接口返回数据不全。可以针对缺失字段单独发起请求，从原数据源获取对应内容补全。比如商品详情页没有库存信息，可以调用商品库存接口补充。
2. 规则推算补全
对于有明确规律的缺失字段，可以通过规则推算填充。比如抓取到的订单数据没有下单时间，但是有支付时间，且已知支付在下单后10分钟内完成，可以用支付时间减去5分钟作为下单时间的估算值。
3. 关联数据源补充
如果单一数据源无法补全缺失字段，可以关联其他可靠数据源。比如抓取到的用户数据没有所在城市，但是有手机号，可以通过手机号归属地接口查询补充城市信息。
关联补充的示例代码如下：
import requests
def fill_city_by_phone(user_list):
filled_list = []
for user in user_list:
if not user.get('city') and user.get('phone'):
# 调用手机号归属地接口，这里替换为实际可用的接口地址
api_url = f"http://ipipp.com/api/phone?number={user['phone']}"
try:
resp = requests.get(api_url, timeout=3)
city = resp.json().get('city')
user['city'] = city if city else '未知'
except:
user['city'] = '未知'
filled_list.append(user)
return filled_list三、策略组合实践建议
实际场景中建议将去重和填充策略组合使用：先通过唯一标识或内容哈希完成去重，过滤掉重复数据后，再针对剩余数据检查字段完整性，按照缺失字段的类型选择对应的填充方式。同时可以定期清理过期的去重标识，避免存储占用过高。如果是高频定时抓取场景，还可以将去重和数据填充的逻辑封装成通用模块，适配不同的抓取任务，进一步提升开发效率。