python网络爬虫


一、Python爬虫核心库

  1. HTTP请求库

    • requests:简单易用的HTTP请求库,处理GET/POST请求。
    • aiohttp:异步HTTP客户端,适合高并发场景。
  2. HTML/XML解析库

    • BeautifulSoup :基于DOM树的解析库,支持多种解析器(如lxml)。
    • lxml:高性能解析库,支持XPath语法。
  3. 动态页面处理

    • Selenium:模拟浏览器操作,处理JavaScript渲染的页面。
    • Playwright(推荐):新一代自动化工具,支持多浏览器。
  4. 数据存储

    • pandas:数据清洗与导出(CSV/Excel)。
    • SQLAlchemy:数据库ORM工具(如MySQL、PostgreSQL)。
  5. 框架

    • Scrapy:高性能爬虫框架,支持分布式、中间件、管道等特性。

二、爬虫开发步骤

1. 发起HTTP请求
python 复制代码
import requests

url = "https://example.com"
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}

response = requests.get(url, headers=headers)
if response.status_code == 200:
    html = response.text  # 或 response.content
2. 解析HTML内容

使用BeautifulSoup:

python 复制代码
from bs4 import BeautifulSoup

soup = BeautifulSoup(html, "lxml")
titles = soup.find_all("h1", class_="title")
for title in titles:
    print(title.text.strip())

使用XPath(配合lxml):

python 复制代码
from lxml import etree

tree = etree.HTML(html)
items = tree.xpath('//div[@class="item"]/a/@href')
3. 处理动态页面(Selenium示例)
python 复制代码
from selenium import webdriver
from selenium.webdriver.common.by import By

driver = webdriver.Chrome()
driver.get("https://example.com")
dynamic_content = driver.find_element(By.CSS_SELECTOR, ".dynamic-element").text
driver.quit()
4. 存储数据

保存到CSV:

python 复制代码
import csv

with open("data.csv", "w", newline="", encoding="utf-8") as f:
    writer = csv.writer(f)
    writer.writerow(["标题", "链接"])
    writer.writerow(["Example", "https://example.com"])

保存到数据库(SQLAlchemy):

python 复制代码
from sqlalchemy import create_engine, Column, String
from sqlalchemy.orm import declarative_base

Base = declarative_base()
class Article(Base):
    __tablename__ = "articles"
    title = Column(String(200), primary_key=True)
    url = Column(String(200))

engine = create_engine("sqlite:///data.db")
Base.metadata.create_all(engine)

# 插入数据
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(bind=engine)
session = Session()
session.add(Article(title="Example", url="https://example.com"))
session.commit()

三、实战示例:爬取豆瓣电影Top250

python 复制代码
import requests
from bs4 import BeautifulSoup
import csv

url = "https://movie.douban.com/top250"
headers = {"User-Agent": "Mozilla/5.0"}

def get_movies():
    response = requests.get(url, headers=headers)
    soup = BeautifulSoup(response.text, "lxml")
    movies = []
    for item in soup.find_all("div", class_="item"):
        title = item.find("span", class_="title").text
        rating = item.find("span", class_="rating_num").text
        movies.append((title, rating))
    return movies

def save_to_csv(movies):
    with open("douban_top250.csv", "w", newline="", encoding="utf-8") as f:
        writer = csv.writer(f)
        writer.writerow(["电影名称", "评分"])
        writer.writerows(movies)

if __name__ == "__main__":
    movies = get_movies()
    save_to_csv(movies)

四、反爬虫策略与应对

  1. 常见反爬手段

    • User-Agent检测 :伪装浏览器头(如使用fake_useragent库)。
    • IP封禁 :使用代理IP池(如requests + proxies参数)。
    • 验证码:接入打码平台(如超级鹰)或OCR识别。
    • 频率限制 :设置随机请求间隔(如time.sleep(random.uniform(1,3)))。
  2. 推荐工具

    • 代理IP:快代理、芝麻代理。
    • 分布式爬虫:Scrapy + Redis(去重与任务队列)。

五、法律与道德规范

  1. 遵守robots.txt :检查目标网站的爬虫协议。
    • 访问 https://example.com/robots.txt
  2. 控制请求频率:避免对服务器造成压力。
  3. 数据用途:禁止商用或侵犯隐私。

六、进阶学习方向

  1. Scrapy框架:学习中间件、Item Pipeline、分布式爬虫。
  2. 动态渲染:掌握Selenium/Playwright自动化。
  3. 数据清洗 :使用pandas处理复杂数据。
  4. 反爬破解:逆向JavaScript加密参数(如AST解析)。

相关推荐
爱上语文9 分钟前
MyBatisPlus(1):快速入门
java·开发语言·数据库·后端·mybatis
marsjin32 分钟前
如何使用Python从MySQL数据库导出表结构到Word文档
数据库·python·mysql
一叶知秋秋33 分钟前
python学习day33
python·深度学习·学习
心软且酷丶1 小时前
leetcode:479. 最大回文数乘积(python3解法,数学相关算法题)
python·算法·leetcode
2501_915373881 小时前
Java调用C++教程:JNI与JNA两种方式详解
java·开发语言·c++
FogLetter1 小时前
魔搭社区与LLM:开启AI魔法新时代的钥匙
python·aigc
一轮大月亮1 小时前
JavaScript es6 语法 map().filter() 链式调用,语法解析 和常见demo
开发语言·javascript·es6
用户7249784592232 小时前
Python 自动化办公实战教程:提升效率的秘密武器
python
_extraordinary_2 小时前
Java String的使用续 -- StringBuilder类和StringBuffer
java·开发语言
一位搞嵌入式的 genius2 小时前
最悉心的指导教程——阿里云创建ECS实例教程+Vue+Django前后端的服务器部署(通过宝塔面板)
前端·后端·python·阿里云·宝塔页面