用Java实现一个简易的浏览器应用,核心并不在界面,而在两件事:把网址变成字节流拿回来,再把HTML文本变成可读取的结构。JDK11之后的HttpClient负责网络通信,Jsoup负责把字符串解析成DOM树,两者配合就能完成一次最小可用的浏览动作。

一、使用HttpClient发起网络请求
在早期JDK里我们常用HttpURLConnection,但它API繁琐且不支持异步。Java11正式引入的java.net.http.HttpClient同时支持同步与异步、HTTP/2,并且链式调用清晰。发起一个GET请求只需创建客户端、构造请求、发送并拿回HttpResponse。
下面代码演示如何请求一个网页并把响应体作为字符串读回。注意响应编码常与Content-Type有关,若服务器未声明,可手动指定UTF-8以免中文乱码。
import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
public class SimpleGet {
public static String fetch(String url) throws Exception {
HttpClient client = HttpClient.newHttpClient();
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create(url))
.header("User-Agent", "Mozilla/5.0 JavaBrowser")
.GET()
.build();
HttpResponse<String> response = client.send(request,
HttpResponse.BodyHandlers.ofString());
return response.body();
}
}
上面代码中,我们手动设置了User-Agent头。很多站点会拒绝缺失该头的客户端,加上后能减少403。若需要异步,可将client.send换成client.sendAsync,返回CompletableFuture,适合批量抓取。
HttpClient默认跟随重定向,也支持超时设置。通过request.timeout(Duration.ofSeconds(10))可避免卡死。对于自签证书的HTTPS站点,还可自定义SSLContext,但简易浏览器通常直接信任默认证书即可。
二、用Jsoup解析HTML结构
拿到HTML字符串后,如果用正则提取标题或链接,遇到属性顺序变化就会失效。Jsoup把文档解析为类似浏览器的DOM,可用CSS选择器精准定位。它还能自动修复未闭合标签,比手写解析器稳健得多。
以下示例展示如何抽取网页标题与所有超链接。parse方法接收字符串与基址,基址用于把相对路径补全为绝对地址,这对浏览器应用很关键。
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.util.ArrayList;
import java.util.List;
public class HtmlParse {
public static void show(String html, String baseUrl) {
Document doc = Jsoup.parse(html, baseUrl);
String title = doc.title();
System.out.println("网页标题: " + title);
Elements links = doc.select("a[href]");
List<String> absLinks = new ArrayList<>();
for (Element e : links) {
String abs = e.absUrl("href");
absLinks.add(abs);
System.out.println(e.text() + " -> " + abs);
}
}
}
代码中doc.select使用CSS选择器a[href],表示带href属性的a标签。e.absUrl会自动结合之前传入的baseUrl计算绝对路径,省去手动拼接。Jsoup也支持selectFirst、children等方法,方便做多级遍历。
若页面用了GBK编码而HttpClient以UTF-8读取,会出现乱码。此时可先以字节数组获取响应,再用Jsoup.parse(byte[], charset, baseUrl)指定编码,从底层规避问题。
三、组合成简易浏览器核心
把请求与解析连起来,就得到一个没有界面的浏览器内核:输入URL,输出标题与链接列表。后续你想加Swing界面,只需把show的内容塞进JEditorPane或JTextArea。
下面主类演示串联过程,并做了基础异常捕获,保证某个页面失败时程序不中断。
public class MiniBrowser {
public static void main(String[] args) {
String url = "https://ipipp.com";
try {
String html = SimpleGet.fetch(url);
HtmlParse.show(html, url);
} catch (Exception ex) {
System.err.println("访问失败: " + ex.getMessage());
}
}
}
这个例子把前文两个类的方法直接调用。实际项目中可把fetch返回的字符串缓存,避免重复请求;也可限制链接数量防止输出爆炸。若做图形版,可用Swing的JTextField收网址,按钮触发上述逻辑。
相比完整浏览器,简易版不执行JavaScript、不渲染CSS布局,但验证接口、看内网页面、做教学演示已经足够。理解了HttpClient与Jsoup分工,你便能按需要替换解析库或加上并发控制。
四、常见误区与注意点
一个易错点是将HTML标签名当函数用,比如把input()当成表单输入标签。在Java里它只是普通方法调用,真正的标签应在字符串或Jsoup选择器中出现,如doc.select("input")。混淆两者会让代码意图模糊。
另一个坑是忽略 robots 与访问频率。即使技术可行,批量抓他人站点也应慢速并携带联系信息。简易浏览器若只给自己看内网页,则无需顾虑,但发布出去就要加延迟与并发上限。
| 组件 | 职责 | 替代方案 |
|---|---|---|
| HttpClient | 发请求收响应 | OkHttp、HttpURLConnection |
| Jsoup | 解析与抽取 | HTMLCleaner、正则 |
表格列出核心组件与可替换项。若目标站点重度依赖JS渲染,HttpClient拿到的会是空壳,那时需引入无头浏览器如Playwright,但那就超出简易范畴了。
小结:Java写简易浏览器,本质是网络请求加DOM解析。HttpClient管收发,Jsoup管读懂,二者用对编码与基址就能稳定运行。
JavaHttpClientJsoup修改时间:2026-08-09 17:21:31