在搭建个人博客或运营多个内容渠道时,最头疼的事情之一就是同一篇文章要分别登录不同后台去发布。RSS作为一种轻量的信息聚合协议,天然适合用来做内容同步的桥梁。它通过一个持续更新的XML文件描述最新条目,任何支持RSS的客户端都能定时读取并拿到标题、链接与正文摘要。理解这套机制,是设计多平台自动化同步方案的基础。

RSS内容同步的底层工作原理
RSS同步的核心在于发布端与订阅端之间的拉取与比对。发布端在内容更新时,向固定的feed地址(例如 /feed.xml)写入符合RSS 2.0规范的XML。该文件包含一个频道信息与若干 item 节点,每个节点带有 guid、pubDate 与 link 等字段。订阅端程序每隔一定时间发起HTTP请求,解析XML后,将本地已处理的 guid 集合与新获取的条目对比,只处理未曾出现过的文章。
这种机制决定了同步的实时性取决于轮询间隔。如果设置为一分钟一次,理论上最大延迟就是一分钟;若设为半小时,则延迟可能达到半小时。另外,很多平台对 pubDate 的格式敏感,必须使用RFC 822标准,例如 Mon, 02 Jan 2023 15:04:05 GMT,否则解析库会报错或误判为过期内容。实际部署中,我们还要在订阅端做好持久化,把已同步的 guid 存入数据库或文件,防止程序重启后重复推送。
除了基础拉取,不少自动化方案会在订阅端加入转换层。比如把RSS中的HTML摘要提取为纯文本,或者反过来把纯文本包装成不同平台需要的富媒体格式。这一步往往借助XSLT或代码内的DOM解析完成。需要注意的是,RSS规范本身不建议在描述字段内存放过多脚本,但很多博客系统为了排版会写入完整HTML,此时订阅端应当做白名单过滤,避免把危险标签同步到社交平台造成渲染异常。
基于RSSHub与Webhook的多平台推送实践
对于不会自己写爬虫的运营人员,RSSHub是一个开源的RSS生成中间件。它把不支持RSS的网站(如微博、知乎)转成标准feed。配合Inoreader等阅读器的Webhook功能,可以在检测到新条目时,向指定接口发送POST请求。我们在服务端用一小段代码接收请求,再调用各平台的开放API完成发布,就实现了从源站到多端的自动流转。
下面是一段接收Webhook并转发到Telegram与WordPress的Node.js示例。代码中我们读取RSSHub提供的JSON格式,提取标题与链接,然后使用对应SDK发送。注意反斜杠在路径与转义中必须保留,例如日志路径 C:logssync.log 不能写成 C:logssync.log。
const express = require('express');
const axios = require('axios');
const app = express();
app.use(express.json());
// 接收Inoreader Webhook推送
app.post('/webhook', async (req, res) => {
const items = req.body.items || [];
for (const it of items) {
const title = it.title;
const url = it.url;
// 推送到Telegram
await axios.post('https://api.telegram.org/botTOKEN/sendMessage', {
chat_id: '123456',
text: title + 'n' + url
});
// 发布到WordPress
await axios.post('https://ipipp.com/wp-json/wp/v2/posts', {
title: title,
content: '<a href="' + url + '">查看原文</a>',
status: 'publish'
}, {
auth: { username: 'admin', password: 'app_pass' }
});
}
res.send('ok');
});
app.listen(3000, () => console.log('sync server on 3000'));
这种方案的优点在于开发量小、稳定性高,因为RSSHub社区维护了上千个路由规则。缺点是如果源站结构变动,路由可能失效,需要关注项目更新。此外,Webhook的并发能力有限,当同一时刻大量文章发布时,要做好队列削峰,比如引入Redis延迟写入,防止触发平台API限流。我们在生产环境一般会把Webhook接收与实际发送解耦,用消息队列隔离故障。
自建RSS爬虫与增量同步的避坑要点
当业务要求更高的定制性时,团队往往会选择自建爬虫主动拉取多个RSS源。此时核心逻辑是维护每个源的 lastBuildDate 与本地游标。每次请求带上 If-Modified-Since 头,源站若返回304则跳过,既节省带宽也降低被封风险。解析后,我们利用 guid 或 link 的哈希作为去重键,写入去重表。
字符编码是自建同步中最常见的坑。部分老系统输出的RSS声明为UTF-8,实际却是GBK,直接解析会出现乱码并导致摘要截断。我们的做法是在拉取后先检测字节序标记,并用 iconv-lite 强制转码。同时,某些平台的摘要含有 这类实体,需统一做HTML实体解码,否则同步到微博会原样显示文本。
import requests
import hashlib
from xml.etree import ElementTree as ET
def fetch_rss(url, last_modified):
headers = {'If-Modified-Since': last_modified}
r = requests.get(url, headers=headers, timeout=10)
if r.status_code == 304:
return [], last_modified
# 强制按声明编码解码
r.encoding = r.apparent_encoding
root = ET.fromstring(r.content)
items = []
for item in root.iter('item'):
link = item.findtext('link')
title = item.findtext('title')
key = hashlib.md5(link.encode('utf-8')).hexdigest()
items.append({'key': key, 'title': title, 'link': link})
return items, r.headers.get('Last-Modified')
# 调用示例
data, new_lm = fetch_rss('https://ipipp.com/feed', 'Sun, 01 Jan 2023 00:00:00 GMT')
print(len(data), new_lm)
另一个容易忽视的点是同步频率与礼貌爬取。许多小型博客托管在共享虚拟主机,若我们每秒请求一次,可能拖垮对方服务器并导致IP被拉黑。建议在配置文件中为每个源设置独立的 interval 字段,重要源设一分钟,普通源设十分钟以上。同时,在User-Agent中留下联系方式,如 MySyncBot/1.0 (+https://ipipp.com/contact),方便对方在异常时通知我们调整。经过上述设计,自建系统可以在低成本下长期稳定运行,打通从RSS到数据库再到前端展示的全链路自动化。