一、前言

网络爬虫（Web Crawler）作为 Python 最常见的应用之一，已经成为数据获取、情报收集、数据分析等领域的基础技能。无论是批量抓取商品信息、社交平台数据，还是政府公开信息，爬虫都提供了便捷高效的解决方案。

本文将以结构化方式，系统讲解 Python 网络爬虫的核心原理、关键模块及实战案例，从基础入门到构建可扩展的爬虫项目，适合零基础入门，也适合有一定编程经验的开发者深入学习与实践。

二、网络爬虫基础知识

1. 什么是网络爬虫？

网络爬虫是一种自动访问网页、抓取页面数据并进行结构化处理的程序。一般包含以下流程：

• 向目标网页发起请求
• 获取 HTML 页面内容
• 解析 HTML 提取目标数据
• 存储数据到本地或数据库
  

2. HTTP 基础知识

网络爬虫的第一步就是访问网页，这需要理解 HTTP 协议常见概念：

• 请求方法：GET（获取资源）、POST（提交表单）
• 状态码：如 200 成功、404 未找到、403 禁止访问
• 请求头：包含 User-Agent、Cookie 等信息
• 响应内容：通常为 HTML 或 JSON 格式的数据
  

3. Robots 协议

Robots.txt 是网站提供的爬虫准入规则，例如：

makefile

复制编辑





User-agent: *Disallow: /admin/

表示禁止所有爬虫访问 /admin/ 路径。爬虫应尊重该规则，合法合规抓取。

三、核心库与工具

四、基础实战：抓取豆瓣电影排行

目标网址：[url=]https://movie.douban.com/top250[/url]

1. 使用 requests + BeautifulSoup 抓取页面

python

复制编辑





import requests

from bs4 import BeautifulSoup



headers = {

    'User-Agent': 'Mozilla/5.0'

}



deffetch_page(url):

    response = requests.get(url, headers=headers)

    return response.text



html = fetch_page('https://movie.douban.com/top250')

soup = BeautifulSoup(html, 'html.parser')



titles = soup.find_all('span', class_='title')

for t in titles:

    print(t.text)

2. 翻页处理

豆瓣 Top250 分为 10 页，我们可以通过构造 URL 实现分页抓取：

python

复制编辑





for page inrange(0, 250, 25):

    url = f"https://movie.douban.com/top250?start={page}"

    html = fetch_page(url)

    soup = BeautifulSoup(html, 'html.parser')

    titles = soup.find_all('span', class_='title')

    for t in titles:

        print(t.text)

五、数据保存技巧

1. 保存为 CSV 文件

python

复制编辑





import csv



withopen("movies.csv", mode='w', newline='', encoding='utf-8') as file:

    writer = csv.writer(file)

    writer.writerow(["电影名"])

    for t in titles:

        writer.writerow([t.text])

2. 保存到 Excel

python

复制编辑





import pandas as pd



data = {"电影名称": [t.text for t in titles]}

df = pd.DataFrame(data)

df.to_excel("豆瓣电影.xlsx", index=False)

六、应对反爬机制

1. 更换 User-Agent

python

复制编辑





import random



user_agents = [

    "Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",

    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."

]



headers = {'User-Agent': random.choice(user_agents)}

2. 使用代理 IP

python

复制编辑





proxies = {

    "http": "http://123.45.6.7:8080",

    "https": "https://123.45.6.7:8080"

}

requests.get(url, headers=headers, proxies=proxies)

3. 添加请求间隔

python

复制编辑





import time



time.sleep(random.uniform(1, 3))

七、动态网页爬取：使用 Selenium

目标：抓取京东搜索页的商品名称和价格

python

复制编辑





from selenium import webdriver

from selenium.webdriver.common.by import By

import time



driver = webdriver.Chrome()

driver.get("https://search.jd.com/Search?keyword=手机")



time.sleep(3)

products = driver.find_elements(By.CLASS_NAME, 'gl-item')



for product in products:

    name = product.text.split('\n')[1]

    print("商品名称：", name)



driver.quit()

八、Scrapy 框架快速入门

1. 安装与项目创建

bash

复制编辑





pip install scrapy

scrapy startproject douban

2. 编写爬虫

python

复制编辑





# douban/spiders/top250.pyimport scrapy



classTop250Spider(scrapy.Spider):

    name = "top250"

    start_urls = ['https://movie.douban.com/top250']



    defparse(self, response):

        for movie in response.css('div.item'):

            yield {

                'title': movie.css('span.title::text').get(),

                'score': movie.css('span.rating_num::text').get()

            }

3. 运行爬虫并保存结果

bash

复制编辑





scrapy crawl top250 -o top250.csv

Scrapy 支持自动限速、并发抓取、请求中间件等高级功能，是构建大型分布式爬虫的首选。

九、项目实战：批量抓取知乎问答

目标：

• 抓取关键词为“Python”的知乎话题下问题列表
• 保存标题、点赞数、回答数
  

实现方式：

• 分析知乎搜索 URL 和页面结构
• 使用 requests + headers 模拟浏览器
• 使用 XPath 提取数据
• 保存为 CSV 文件
  

python

复制编辑





import requests

from lxml import etree



url = "https://www.zhihu.com/search?q=Python"

headers = {

    "User-Agent": "Mozilla/5.0",

    "cookie": "填写你的 cookie"

}



response = requests.get(url, headers=headers)

tree = etree.HTML(response.text)

titles = tree.xpath('//div[@class="css-1yqmn86"]/text()')

for t in titles:

    print(t)

注意：知乎、微博、B站等平台需要登录或 JS 渲染，适合用 Selenium + cookie 登录后抓取。

十、数据存储进阶：写入 MySQL 数据库

python

复制编辑





import pymysql



conn = pymysql.connect(host='localhost', user='root', password='123456', database='crawler', charset='utf8')

cursor = conn.cursor()



sql = "INSERT INTO movie(title, score) VALUES (%s, %s)"

cursor.execute(sql, ("肖申克的救赎", "9.7"))

conn.commit()

cursor.close()

conn.close()

十一、爬虫风险与合规性

在实际开发爬虫时应注意：

• 避免高频访问，防止对网站造成压力
• 遵守 robots 协议
• 不抓取个人隐私信息
• 不用于非法商业用途
  

推荐使用第三方数据 API 或开放数据集，合法合规地使用网络资源。

十二、延伸方向

十三、总结

本文围绕 Python 网络爬虫进行了全景式解析，从基本的 requests 抓取，到动态网页处理、框架应用、项目实战与数据存储，每一部分均配有实战代码，便于动手练习。

你现在可以：

• 编写基础爬虫抓取网页数据
• 处理 JS 渲染页面并应对反爬机制
• 使用 Scrapy 构建大型爬虫系统
• 抓取并保存数据到 CSV、Excel、数据库
  

网络爬虫不仅是信息收集的核心手段，也是数据工程、数据分析、智能推荐等系统的基础。未来可以结合机器学习模型，实现自动化情报分析、智能分类推荐等应用。