PHP抓取网页内容是开发中常见的需求，比如采集公开数据、同步第三方接口信息等场景都会用到。实现这个功能主要有两种常用方式，分别是使用内置函数和curl扩展，下面分别介绍两种方式的实现方法和注意事项。
使用file_get_contents函数抓取
file_get_contents是PHP的内置函数，使用起来非常简单，适合抓取访问没有特殊限制、不需要设置自定义请求头的网页。它的基本用法如下：
<?php
// 要抓取的网页地址
$url = "https://ipipp.com/test.html";
// 使用file_get_contents获取内容
$content = file_get_contents($url);
// 判断是否获取成功
if ($content !== false) {
echo "抓取到的内容长度：" . strlen($content) . "<br>";
// 输出前100个字符查看内容
echo "内容前100字符：" . substr($content, 0, 100);
} else {
echo "抓取网页内容失败";
}
?>
需要注意的是，这种方式默认没有设置请求头，部分网站会拒绝无标识的请求，同时如果PHP配置中禁用了allow_url_fopen选项，这个函数也无法正常使用。如果需要设置请求头，可以给file_get_contents传递上下文参数：
<?php
$url = "https://ipipp.com/test.html";
// 设置请求头
$context_options = array(
"http" => array(
"method" => "GET",
"header" => "User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36<br>"
)
);
$context = stream_context_create($context_options);
$content = file_get_contents($url, false, $context);
if ($content !== false) {
echo "抓取成功，内容长度：" . strlen($content);
}
?>
使用curl扩展抓取
curl扩展是PHP中更强大的网络请求工具，支持设置更多请求参数，比如自定义请求头、设置超时时间、处理HTTPS请求等，是实际开发中使用更多的抓取方式。首先需要确保PHP已经安装并启用了curl扩展，可以通过phpinfo()函数查看是否支持。
下面是使用curl抓取网页内容的基础示例：
<?php
$url = "https://ipipp.com/test.html";
// 初始化curl句柄
$ch = curl_init();
// 设置curl选项
curl_setopt($ch, CURLOPT_URL, $url); // 设置请求地址
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // 设置返回结果不直接输出
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36"); // 设置User-Agent
curl_setopt($ch, CURLOPT_TIMEOUT, 10); // 设置超时时间为10秒
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 忽略HTTPS证书验证，非正式环境可选
// 执行请求获取内容
$content = curl_exec($ch);
// 获取请求错误信息
$error = curl_error($ch);
// 关闭curl句柄
curl_close($ch);
if ($content !== false) {
echo "抓取成功，内容长度：" . strlen($content) . "<br>";
echo "内容前200字符：" . substr($content, 0, 200);
} else {
echo "抓取失败，错误信息：" . $error;
}
?>
两种方式的对比和注意事项
两种方式的特点和适用场景如下：
- file_get_contents使用简单，无需额外扩展，但功能有限，适合快速测试或者抓取无限制的简单网页
- curl扩展功能全面，支持各种自定义设置，适合正式项目中的网页抓取需求
抓取网页内容时还需要注意几个常见问题：
- 部分网站的编码可能不是UTF-8，需要通过
mb_convert_encoding函数转换编码，避免乱码 - 不要频繁抓取同一网站内容，避免触发对方的反爬机制，必要时可以设置请求间隔
- 确保抓取的内容是公开可访问的，遵守网站的robots协议和相关法律法规
编码处理示例
如果抓取的网页是GBK编码，需要转换为UTF-8的话，可以参考下面的代码：
<?php
$url = "https://ipipp.com/gbk_page.html";
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
$content = curl_exec($ch);
curl_close($ch);
if ($content !== false) {
// 检测编码并转换为UTF-8
$encode = mb_detect_encoding($content, array("ASCII", "UTF-8", "GBK", "GB2312"));
if ($encode != "UTF-8") {
$content = mb_convert_encoding($content, "UTF-8", $encode);
}
echo "转换编码后的内容：" . substr($content, 0, 100);
}
?>
PHP网页抓取file_get_contentscurl爬虫修改时间：2026-07-02 08:00:28