新闻聚合应用的核心功能是从多个内容源抓取数据，解析后统一呈现给用户。在Java生态中，我们可以利用标准库的HTTP客户端和第三方XML解析库来实现这一功能。整个应用的构建过程涉及网络请求、数据解析、并发处理和结果排序等多个技术环节，每个环节都有值得深入探讨的设计细节。
项目架构设计与依赖配置
构建新闻聚合应用的第一步是确定项目结构和引入必要的依赖库。我们采用Maven作为项目构建工具，因为它能方便地管理第三方库的版本和依赖关系。项目整体采用分层架构，将数据抓取、解析和展示分离，便于后续扩展和维护。
在依赖选择上，我们需要一个HTTP客户端库来发送网络请求，一个XML解析库来处理RSS源数据。Java 11及以上版本内置了HttpClient，可以直接使用而无需引入额外依赖。对于XML解析，ROME是一个专门用于处理RSS和Atom Feed的Java库，它封装了各种RSS版本的差异，提供了统一的API接口。此外，我们还可以引入SLF4J用于日志记录，方便调试和问题排查。
<dependencies>
<!-- ROME for RSS/Atom parsing -->
<dependency>
<groupId>com.rometools</groupId>
<artifactId>rome</artifactId>
<version>1.18.0</version>
</dependency>
<!-- SLF4J for logging -->
<dependency>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-simple</artifactId>
<version>1.7.36</version>
</dependency>
</dependencies>
项目结构方面，建议按照功能模块划分包目录。将数据模型定义在model包中，抓取逻辑放在fetcher包，解析逻辑放在parser包，主程序入口放在根包下。这种分层方式使得每个模块职责单一，当需要替换某个数据源或解析方式时，只需修改对应模块而不影响其他部分。同时，定义一个统一的NewsItem数据模型类，包含标题、链接、来源、摘要和发布时间等字段，作为各模块之间数据传递的载体。
RSS数据源抓取与XML解析
RSS是基于XML的内容分发格式，大多数新闻网站和博客都提供RSS源。抓取RSS数据本质上就是发送HTTP请求获取XML文档，然后解析其中的结构化信息。RSS格式有多种版本，包括RSS 1.0、RSS 2.0和Atom，不同版本的字段定义略有差异，这正是我们引入ROME库的原因，它屏蔽了这些版本差异。
使用Java内置的HttpClient抓取RSS源非常直观。我们创建一个HttpRequest对象，指定目标URL和请求头，然后发送请求并获取响应体。需要注意的是，部分RSS源可能需要设置User-Agent头才能正常访问，否则会被服务器拒绝。此外，网络请求可能因超时或连接问题失败，必须做好异常处理和重试机制。建议设置合理的连接超时和读取超时，避免某个慢速源拖垮整个抓取流程。
import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.time.Duration;
public class RssFetcher {
private static final HttpClient client = HttpClient.newBuilder()
.connectTimeout(Duration.ofSeconds(10))
.build();
public static String fetchFeed(String feedUrl) throws Exception {
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create(feedUrl))
.header("User-Agent", "NewsAggregator/1.0")
.timeout(Duration.ofSeconds(15))
.GET()
.build();
HttpResponse<String> response = client.send(request,
HttpResponse.BodyHandlers.ofString());
if (response.statusCode() != 200) {
throw new RuntimeException("Failed to fetch feed: " + response.statusCode());
}
return response.body();
}
}
获取到XML内容后，使用ROME库解析就变得非常简单。ROME的SyndFeedInput类可以接受一个XML Reader对象，自动识别RSS版本并返回统一的SyndFeed对象。通过SyndFeed对象，我们可以获取Feed的标题、描述、发布日期等元信息，以及getEntries方法返回的新闻条目列表。每个SyndEntry对象包含单条新闻的标题、链接、摘要、发布时间等字段，这些信息可以直接映射到我们自定义的NewsItem数据模型中。
import com.rometools.rome.feed.synd.SyndFeed;
import com.rometools.rome.io.SyndFeedInput;
import com.rometools.rome.io.XmlReader;
import java.io.StringReader;
import java.util.List;
import java.util.ArrayList;
public class RssParser {
public List<NewsItem> parse(String xmlContent, String sourceName) throws Exception {
List<NewsItem> newsItems = new ArrayList<>();
try (StringReader reader = new StringReader(xmlContent)) {
SyndFeedInput input = new SyndFeedInput();
SyndFeed feed = input.build(new XmlReader(reader));
for (var entry : feed.getEntries()) {
NewsItem item = new NewsItem();
item.setTitle(entry.getTitle());
item.setLink(entry.getLink());
item.setSource(sourceName);
item.setPublishedDate(entry.getPublishedDate());
if (entry.getDescription() != null) {
item.setSummary(entry.getDescription().getValue());
}
newsItems.add(item);
}
}
return newsItems;
}
}
在数据模型设计上，NewsItem类应包含标题、链接、来源、摘要和发布时间等基本字段。建议使用Date类型存储时间，方便后续排序。同时，为NewsItem实现Comparable接口或提供Comparator，以便按发布时间排序。摘要字段可能包含HTML标签，如果需要纯文本展示，可以使用Jsoup等库进行清理。此外，建议为NewsItem类添加一个toString方法，格式化输出新闻信息，方便调试和命令行展示。
多源并发抓取与结果聚合
新闻聚合应用的一个核心需求是从多个数据源同时抓取内容。如果串行地逐个请求每个RSS源，总耗时将是所有源请求时间的总和，这在源数量较多时会非常慢。利用Java的CompletableFuture或ExecutorService，我们可以并发地发起多个请求，显著缩短总抓取时间。并发抓取的关键在于合理控制线程数量和异常隔离，确保单个源的失败不会影响其他源的正常抓取。
使用CompletableFuture是Java 8引入的异步编程方式，它比传统的Future更加灵活，支持链式调用和组合操作。我们为每个RSS源创建一个异步任务，执行抓取和解析逻辑，然后使用CompletableFuture.allOf等待所有任务完成。这种方式的优势在于代码简洁、异常处理方便，且能充分利用多核CPU的并行能力。每个异步任务内部捕获自己的异常，失败时返回空列表，这样即使某个RSS源不可用，其他源的结果仍然能正常返回。
import java.util.List;
import java.util.ArrayList;
import java.util.concurrent.CompletableFuture;
import java.util.stream.Collectors;
public class NewsAggregator {
private final RssFetcher fetcher = new RssFetcher();
private final RssParser parser = new RssParser();
// 预定义的RSS源列表
private static final List<String> FEED_SOURCES = List.of(
"https://ipipp.com/rss/tech",
"https://ipipp.com/rss/world",
"https://ipipp.com/rss/business"
);
public List<NewsItem> aggregate() {
List<CompletableFuture<List<NewsItem>>> futures = FEED_SOURCES.stream()
.map(url -> CompletableFuture.supplyAsync(() -> {
try {
String xml = fetcher.fetchFeed(url);
return parser.parse(xml, extractSourceName(url));
} catch (Exception e) {
System.err.println("Failed to fetch from: " + url);
return List.<NewsItem>of();
}
}))
.collect(Collectors.toList());
// 等待所有异步任务完成
CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join();
// 合并所有结果并按发布时间排序
return futures.stream()
.map(CompletableFuture::join)
.flatMap(List::stream)
.sorted((a, b) -> {
if (a.getPublishedDate() == null) return 1;
if (b.getPublishedDate() == null) return -1;
return b.getPublishedDate().compareTo(a.getPublishedDate());
})
.collect(Collectors.toList());
}
private String extractSourceName(String url) {
// 从URL中提取来源名称
String[] parts = url.split("/");
return parts.length > 3 ? parts[3] : "unknown";
}
}
并发抓取时需要注意几个关键问题。首先是线程池管理，CompletableFuture默认使用ForkJoinPool的commonPool，其线程数等于CPU核心数减一。如果RSS源数量很多，可能需要自定义线程池来控制并发度，避免创建过多线程导致资源耗尽。其次是超时控制，单个源的抓取不应阻塞整体流程，可以为每个CompletableFuture设置超时时间，超时后返回空列表而非抛出异常。最后是资源释放，确保HTTP连接和Reader流在使用后正确关闭，防止内存泄漏。
结果聚合阶段，除了排序外还需要考虑去重问题。不同RSS源可能转载相同的新闻，我们可以通过标题相似度或链接匹配来判断重复。简单的去重策略是使用Set按标题去重，但更精确的方式是计算标题的相似度，例如使用Levenshtein距离或Jaccard系数，当相似度超过阈值时判定为重复。对于小型应用，基于标题的精确匹配去重已经足够实用。去重时应保留发布时间最早或来源最权威的那条记录，确保用户看到的是原始信息源。
import java.util.LinkedHashSet;
import java.util.Set;
public class NewsDeduplicator {
public List<NewsItem> deduplicate(List<NewsItem> items) {
Set<String> seenTitles = new LinkedHashSet<>();
List<NewsItem> result = new ArrayList<>();
for (NewsItem item : items) {
String normalizedTitle = normalizeTitle(item.getTitle());
if (!seenTitles.contains(normalizedTitle)) {
seenTitles.add(normalizedTitle);
result.add(item);
}
}
return result;
}
private String normalizeTitle(String title) {
if (title == null) return "";
// 去除空格和标点，转为小写
return title.toLowerCase()
.replaceAll("[\\p{Punct}\\s]", "")
.trim();
}
}
最后，将聚合后的新闻列表输出展示。对于命令行应用，可以直接打印到控制台，按时间倒序排列展示最新的新闻条目。如果需要Web界面，可以嵌入Jetty或使用Spring Boot快速搭建REST API，将新闻列表以JSON格式返回给前端渲染。无论采用哪种展示方式，核心的数据抓取和聚合逻辑都是通用的。通过这个小型新闻聚合应用的构建，我们实践了HTTP请求、XML解析、并发编程、数据排序去重等多个Java核心技术点，这些技能在实际项目开发中都有广泛的应用场景。后续还可以扩展缓存机制、定时自动刷新、关键词过滤等功能，逐步完善应用的功能和性能。