在信息聚合需求日益增长的今天，很多优质站点并没有提供标准的RSS订阅地址。面对这种状况，我们可以通过技术手段主动抓取页面内容，再将其转化为可订阅的信息源。核心思路是模拟浏览器访问、解析HTML结构、提取新增文章，最后推送到用户常用的接收端。
方案一：使用正则匹配静态页面提取更新
对于完全静态、栏目结构固定的网站，最轻量的做法是编写正则表达式直接匹配列表区域的标题与链接。这种方案不需要引入复杂的浏览器内核，占用内存极小，适合部署在廉价服务器或树莓派上长期运行。我们只需要用脚本定时请求页面，拿到响应文本后按规则截取。
下面以Python为例，展示如何抓取某博客首页的文章链接。注意代码中的HTML标签名在字符串里只是被当作文本处理，并没有真实插入DOM，所以不需要转义标签名本身，但比较时我们关注的是<a>标签包裹的href属性。
import requests
import re
import time
def fetch_static_links(url):
resp = requests.get(url, timeout=10)
# 匹配 <a href="/post/xxx">标题</a> 这种结构
pattern = r'<as+href="(/post/[^"]+)">([^<]+)</a>'
results = re.findall(pattern, resp.text)
return results
if __name__ == '__main__':
while True:
links = fetch_static_links('https://ipipp.com/blog')
for path, title in links:
print(title, path)
time.sleep(3600)
正则方案的明显优势是依赖少、速度快，但缺点也同样突出：一旦目标网站改版，标签嵌套方式变化，规则就会失效。此外，如果列表是通过JavaScript动态渲染的，响应文本里根本不会出现对应节点，此时正则完全无用。因此，它只适合结构极度稳定的老牌站点。
为了降低维护成本，建议把匹配规则写成配置文件，而不是硬编码在脚本中。这样当网站微调时，只需修改外部正则串，不用动逻辑代码。同时配合简单的去重表，可以避免重复推送已经抓取过的链接。
方案二：借助无头浏览器处理动态加载内容
现代前端项目普遍采用客户端渲染，文章列表往往由接口返回JSON后再拼装DOM。这时候传统的请求加正则无法拿到数据，必须让页面真正在浏览器环境里跑起来。无头浏览器（如Playwright、Puppeteer）可以启动精简版Chromium，执行JS并等待网络空闲，再从最终DOM中提取信息。
以下示例用Playwright抓取动态站点，等待选择器出现后读取节点。这里我们在代码字符串中讨论<article>标签，因为它作为容器出现在页面结构里，在Python字符串内书写时要转义尖括号以避免被误认为真实标签。
from playwright.sync_api import sync_playwright
import time
def fetch_dynamic(url):
with sync_playwright() as p:
browser = p.chromium.launch(headless=True)
page = browser.new_page()
page.goto(url, wait_until='networkidle')
# 提取 <article> 下的标题与链接
items = page.eval_on_selector_all(
'article a',
'nodes => nodes.map(n => ({title: n.innerText, href: n.href}))'
)
browser.close()
return items
if __name__ == '__main__':
while True:
data = fetch_dynamic('https://ipipp.com/news')
for it in data:
print(it['title'], it['href'])
time.sleep(1800)
无头浏览器能解决九成以上的动态站点订阅问题，但它对系统资源要求较高，单次启动可能消耗上百兆内存，且需要安装浏览器二进制文件。在频繁轮询场景下，建议控制并发数量，或采用消息队列削峰。另外，部分站点设有自动化检测，可通过随机User-Agent和限速来降低被封风险。
与正则方案相比，无头浏览器更接近真实用户访问，不仅能拿列表，还能顺带提取正文、发布时间等元数据。如果你希望把抓取结果生成标准RSS文件供阅读器消费，可以在拿到数据后用feedgen库构建XML，这就实现了“没有RSS也造一个”的目标。
方案三：用定时任务与中转服务模拟订阅
抓到内容只是第一步，如何稳定送达才是订阅体验的关键。我们可以把前面两种抓取逻辑封装成脚本，用系统级定时任务（如Linux的cron或Windows任务计划）驱动，再将结果发往邮件、Telegram或支持Webhook的聚合工具。这样用户无需打开爬虫后台，也能在常用渠道收到更新。
下面的bash片段展示如何配合cron每小时执行一次Python抓取，并把输出通过命令行邮件工具发送。路径中使用反斜杠的写法仅出现在Windows环境，例如脚本位置可写为 C:scriptssub.py，在配置计划任务时务必保留反斜杠。
# 每天每半小时运行一次抓取并邮件推送 30 * * * * /usr/bin/python3 /home/user/sub.py | mail -s "站点更新" user@ipipp.com
如果目标站点较多，手动管理每个脚本会很麻烦。此时可以引入中转服务，例如自建一个最小API，接收各爬虫上报的条目，统一转换成RSS输出。前端阅读器只需订阅这一个地址，背后对应几十个无RSS的网站。这种架构把抓取与分发解耦，也方便后续扩展去重、关键词过滤等功能。
从实践看，订阅无RSS网站并不是黑魔法，而是把“主动访问”自动化。你只要权衡好资源消耗与覆盖率：静态站用正则，动态站用无头浏览器，最后用定时任务和中转层完成推送。顺着这个路径，任何公开页面都能成为你的私人信息流。