Python实现网络爬虫的核心流程包含发送HTTP请求获取页面内容、解析页面提取目标数据、存储数据三个核心环节，同时需要配合反爬策略避免被目标网站封禁。
一、Python网络爬虫基础实现
1. 环境准备
实现基础爬虫需要安装两个核心第三方库：requests用于发送HTTP请求，BeautifulSoup用于解析HTML页面。可以通过pip命令安装：
pip install requests beautifulsoup4
2. 发送请求获取页面
使用requests库向目标URL发送GET请求，获取页面的原始HTML内容，需要注意设置合理的请求头模拟浏览器访问：
import requests
# 设置请求头，模拟浏览器身份
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
# 目标URL，这里以示例域名替换后的地址为例
url = "http://ipipp.com/sample_page"
try:
response = requests.get(url, headers=headers, timeout=10)
# 设置编码，避免中文乱码
response.encoding = response.apparent_encoding
html_content = response.text
print("页面获取成功，长度：", len(html_content))
except Exception as e:
print("请求失败：", e)
3. 解析页面提取数据
拿到HTML内容后，使用BeautifulSoup解析页面，提取需要的数据，比如提取页面中所有的文章标题：
from bs4 import BeautifulSoup
# 解析HTML内容
soup = BeautifulSoup(html_content, "html.parser")
# 提取所有class为article_title的元素，这里根据实际页面结构调整选择器
title_tags = soup.find_all("div", class_="article_title")
for tag in title_tags:
# 获取标签内的文本内容
title = tag.get_text(strip=True)
print("文章标题：", title)
4. 存储数据
提取到数据后可以将数据存储到本地文件或者数据库中，以下是将数据存储到CSV文件的示例：
import csv
# 要存储的数据列表，实际场景中从解析结果中获取
data_list = [["标题1", "内容1"], ["标题2", "内容2"]]
# 写入CSV文件
with open("crawl_result.csv", "w", encoding="utf-8", newline="") as f:
writer = csv.writer(f)
writer.writerow(["标题", "内容"])
writer.writerows(data_list)
print("数据存储完成")
二、爬虫避免被封禁的常用策略
1. 模拟真实浏览器请求
很多网站会通过请求头中的User-Agent识别爬虫，因此需要随机切换不同的User-Agent，避免使用固定的标识：
import random
# 准备多个常见的User-Agent
user_agent_list = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.1 Safari/605.1.15",
"Mozilla/5.0 (Linux; Android 13; SM-S918B) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Mobile Safari/537.36"
]
# 随机选择一个User-Agent
random_ua = random.choice(user_agent_list)
headers = {"User-Agent": random_ua}
2. 控制请求频率
短时间内发送大量请求会触发网站的频率限制，需要在请求之间添加随机间隔，模拟真实用户的访问节奏：
import time # 每次请求后随机等待1-3秒 time.sleep(random.uniform(1, 3))
3. 使用代理IP
如果单个IP访问频率过高被封禁，可以使用代理IP池切换访问来源，以下是使用代理发送请求的示例：
# 代理IP格式，实际使用中替换为有效的代理地址
proxy = {
"http": "http://127.0.0.1:8080",
"https": "http://127.0.0.1:8080"
}
try:
response = requests.get(url, headers=headers, proxies=proxy, timeout=10)
except Exception as e:
print("代理请求失败：", e)
4. 处理Cookies和验证码
部分网站需要登录后才能访问内容，此时需要处理Cookies，如果是动态加载的数据，还需要使用selenium等工具模拟浏览器执行JS。如果遇到验证码，简单的验证码可以通过OCR识别，复杂的验证码建议手动处理或者降低采集频率。
5. 遵守robots协议
访问目标网站的根目录下查看robots.txt文件，遵守网站规定的可爬取路径和频率限制，避免爬取禁止访问的内容，这是避免法律风险的基础要求。
三、注意事项
爬虫开发需要严格遵守《网络安全法》等相关法律法规，不得爬取涉及个人隐私、商业机密的内容，不得对目标网站造成过大的访问压力。如果是大规模数据采集，建议先和目标网站沟通获取授权，或者使用网站提供的公开API接口获取数据。
Python网络爬虫反爬策略requestsBeautifulSoup修改时间：2026-07-10 19:12:12