在宝塔面板中部署新网站后，服务器资源被垃圾爬虫大量消耗是许多站长都会遇到的现实问题。这类爬虫往往不遵守爬虫规范，以极高频率请求网页、接口或静态资源，导致带宽占用飙升、PHP进程被打满，甚至触发云厂商的流量告警。要在不影响正常收录的前提下挡住它们，需要结合宝塔的可视化配置与Nginx底层规则进行综合处理。
一、识别垃圾爬虫的特征
要避免资源被浪费，第一步是搞清楚哪些访问属于垃圾爬虫。在宝塔面板的网站管理中点开“日志”，查看 access.log 是最直接的办法。正常搜索引擎爬虫如百度、谷歌都有固定的UA和较低的抓取频率，而垃圾爬虫通常表现出几个明显特点：请求头中的 User-Agent 极为随意，例如直接用 python-requests、curl 或空UA；同一IP在几秒内发起几十次请求；专门扫描不存在的后台路径如 /admin、/wp-login.php。
除了看日志，也可以借助宝塔自带的“网站监控报表”插件，它能按IP、UA、状态码做聚合。如果发现某个IP长时间返回404却仍在持续请求，基本可以判定为恶意扫描。明确特征之后，后续的拦截策略才能有的放矢，而不是一刀切把真实用户也挡在门外。
二、利用Nginx限流模块减轻负载
宝塔面板底层使用Nginx作为Web服务器，其自带的 limit_req 和 limit_conn 模块是应对高频请求的神器。limit_req 可以限制单个IP在单位时间内的请求次数，相当于给爬虫踩了刹车。在宝塔中不需要手动编译，只需在“网站设置-配置文件”里加入相关指令即可。
下面是一段典型的限流配置，放到 server 块中能有效约束突发流量：
# 定义限流区，每秒最多1个请求，缓冲队列5个
limit_req_zone $binary_remote_addr zone=anti_spider:10m rate=1r/s;
server {
listen 80;
server_name example.ipipp.com;
location / {
# 应用限流，突发允许5个，延迟处理
limit_req zone=anti_spider burst=5 nodelay;
try_files $uri $uri/ /index.php?$args;
}
# 对静态资源放宽限制
location ~* .(jpg|css|js)$ {
limit_req zone=anti_spider burst=10 nodelay;
}
}
上面的配置中，rate=1r/s 表示平均每秒处理一个请求，burst=5 允许短时出现5个排队请求，nodelay 则让这些突发直接处理而不排队等待，既防住爬虫又不让真人点击时感到卡顿。如果某些接口如搜索页最容易被爬，还可以单独建 location 把 rate 调得更低。
使用限流时要注意，过于严格的规则可能误伤拨号上网的动态IP用户。建议先以日志统计出的正常访问峰值作为基准，例如真人平均每分钟请求不超过30次，那就把 rate 设在 1r/s 左右并观察几天，再根据实际情况放宽或收紧。
三、通过UA与IP黑名单拦截
限流解决的是“快”的问题，而 UA 黑名单解决的是“是谁”的问题。很多垃圾爬虫使用固定或少量的工具签名，在宝塔的“网站设置-流量限制”或“防火墙”中，可以直接添加 User-Agent 过滤规则。例如屏蔽包含 python-requests、semrushbot 等非必要采集器的字样。
对于已经确认恶意的IP段，宝塔面板提供“禁止访问IP”功能，填入后会在Nginx配置中生成 deny 指令。配合计划任务定期分析日志并自动封禁异常IP，能大幅减少人工干预。下面是用Shell脚本结合宝塔日志提取高危IP的示例：
#!/bin/bash
# 提取每分钟请求超100次的IP
log_path=/www/wwwlogs/example.ipipp.com.log
block_list=/www/server/panel/vhost/nginx/block_custom.conf
awk '{print $1}' $log_path | sort | uniq -c | sort -nr | awk '$1>100 {print $2}' | while read ip; do
if ! grep -q "$ip" $block_list; then
echo "deny $ip;" >> $block_list
fi
done
# 重载Nginx使规则生效
/www/server/nginx/sbin/nginx -s reload
这个脚本统计访问频次，把可疑IP写入自定义配置并重新加载Nginx。实际使用时可将其加入宝塔计划任务，每小时跑一次。要注意的是，部分爬虫会使用云厂商IP轮换，单纯封IP可能疲于奔命，因此UA配合限流才是更稳的组合。
四、启用宝塔防火墙与搜索引擎白名单
宝塔应用商店里的“宝塔防火墙”或“Nginx防火墙”插件，提供了图形化的CC防护、恶意扫描拦截。开启后，在“设置-爬虫过滤”中勾选丢弃垃圾搜索引擎，同时把百度、必应等正规蜘蛛加入白名单，避免误封。防火墙的免费版已能覆盖多数场景，付费版则带更细的语义分析。
配置白名单时，不能只看UA，因为UA可伪造。较严谨的做法是在防火墙里开启“蜘蛛验证”，对声称是搜索引擎的UA反向解析域名，确属 search.msn.com 或 crawl.baidu.com 才放行。这样垃圾爬虫即使冒充百度也会被拦下，既保住了收录机会，也堵住了冒充漏洞。
| 防护手段 | 应对目标 | 配置位置 |
|---|---|---|
| limit_req限流 | 高频请求、CC攻击 | Nginx配置文件 |
| UA黑名单 | 工具型采集器 | 宝塔防火墙/流量限制 |
| IP禁止 | 固定恶意来源 | 网站禁止IP |
| 蜘蛛验证 | 伪造搜索引擎 | 防火墙插件 |
五、上线前的检查清单
新网站在宝塔面板建好后，建议按以下顺序操作再对外推广：先设好Nginx限流基线，再填好UA过滤关键词，接着开启防火墙的扫描拦截，最后用日志监控跑两天观察拦截数。若发现真实用户反馈加载慢，可适当调大 burst 值。
垃圾爬虫不会因为你刚上线就放过站点，提前布防比事后扩容省钱得多。把上述几层规则叠加使用，普通展示型网站即便在低配服务器上也能稳稳扛住日均上万次恶意请求，把CPU和带宽真正留给想看内容的人。