Python爬虫——入门爬取网页数据

前言

本文介绍Python爬虫入门教程,主要讲解如何使用Python爬取网页数据,包括基本的网页数据抓取、使用代理IP和反爬虫技术。

一、Python爬虫入门

Python是一门非常适合爬虫的编程语言。它具有简单易学、代码可读性高等优点,而且Python爬虫库非常丰富,使用Python进行爬虫开发非常方便。

我们先来看一个简单的Python爬虫程序,爬取一个网页的标题:

python 复制代码
import requests
from bs4 import BeautifulSoup

# 发送HTTP请求
url = 'http://www.baidu.com/'
response = requests.get(url)

# 解析HTML文档
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title

# 输出结果
print('网页标题:', title.string)

在这个程序中,我们使用了requests库来发送HTTP请求,并使用BeautifulSoup库来解析HTML文档。通过这两个库,我们可以轻松地获取网页数据,进而进行数据分析和处理。

二、使用代理IP

有些网站可能会封禁某个IP地址,这时我们需要使用代理IP来隐藏真实IP地址。使用代理IP的方法很简单,只需向requests库的get()或post()方法传递proxies参数即可。

下面是一个使用代理IP的Python爬虫程序,爬取一个网站的代理IP:

python 复制代码
import requests
from bs4 import BeautifulSoup

# 设置代理IP
proxies = {
  'http': 'http://127.0.0.1:8080',
  'https': 'http://127.0.0.1:8080'
}

# 发送HTTP请求
url = 'http://www.zdaye.cn/freeproxy.html'
response = requests.get(url, proxies=proxies)

# 解析HTML文档
soup = BeautifulSoup(response.text, 'html.parser')
trs = soup.select('.table tbody tr')

# 输出结果
for tr in trs:
    tds = tr.select('td')
    ip = tds[0].string
    port = tds[1].string
    print('{}:{}'.format(ip, port))

在这个程序中,我们设置了一个代理IP,然后使用requests库发送HTTP请求,传递了proxies参数。接着我们解析HTML文档,使用BeautifulSoup库找到了代理IP,并输出了结果。

三、反爬虫技术

有些网站为了防止被爬虫抓取,会采取一些反爬虫技术,如设置限流、验证码等。为了绕过这些反爬虫技术,我们需要使用一些技巧。

  1. 间隔时间

我们可以通过设置间隔时间来减小对目标网站的压力,缓解反爬虫措施带来的影响。代码实现如下:

python 复制代码
import requests
import time

# 发送HTTP请求
url = 'http://www.baidu.com/'
while True:
    response = requests.get(url)
    print(response.text)
    time.sleep(5)  # 每隔5秒钟发送一次请求

在这段代码中,我们使用了time库来让程序等待5秒钟,然后再继续发送HTTP请求。

  1. 随机UA

有些网站会根据User-Agent来判断是否是爬虫程序,我们可以通过随机User-Agent的方法,来让我们的爬虫程序更难被发现。代码实现如下:

python 复制代码
import requests
from fake_useragent import UserAgent

# 获取随机User-Agent
ua = UserAgent()
headers = {
    'User-Agent': ua.random
}

# 发送HTTP请求
url = 'http://www.baidu.com/'
response = requests.get(url, headers=headers)
print(response.text)

在这段代码中,我们使用了fake_useragent库来生成随机的User-Agent,然后将其设置到HTTP请求的headers中。

  1. 使用Cookies

有些网站会根据用户的Cookies来判断是否是爬虫程序,我们可以通过获取网站的Cookies,然后将其设置到我们的爬虫程序中,来伪装成正常用户。代码实现如下:

python 复制代码
import requests

# 发送HTTP请求
url = 'http://www.baidu.com/'
response = requests.get(url)

# 获取Cookies
cookies = response.cookies

# 设置Cookies
headers = {
    'Cookies': cookies
}

# 发送HTTP请求
url = 'http://www.baidu.com/'
response = requests.get(url, headers=headers)
print(response.text)

在这段代码中,我们先发送HTTP请求获取了网站的Cookies,然后将其设置到HTTP请求的headers中。

四、总结

本文介绍了Python爬虫入门教程,主要讲解了如何使用Python爬取网页数据,使用代理IP和反爬虫技术等技巧。通过学习本文,您可以轻松地掌握Python爬虫开发的基本技巧,从而更加高效地进行数据采集和处理。

相关推荐
Rock_yzh1 小时前
AI学习日记——参数的初始化
人工智能·python·深度学习·学习·机器学习
青衫客362 小时前
基于 Python 构建的安全 gRPC 服务——TLS、mTLS 与 Casbin 授权实战
python·安全·微服务
-dzk-3 小时前
【3DGS复现】Autodl服务器复现3DGS《简单快速》《一次成功》《新手练习复现必备》
运维·服务器·python·计算机视觉·3d·三维重建·三维
摩羯座-185690305945 小时前
爬坑 10 年!京东店铺全量商品接口实战开发:从分页优化、SKU 关联到数据完整性闭环
linux·网络·数据库·windows·爬虫·python
ACERT3335 小时前
5.吴恩达机器学习—神经网络的基本使用
人工智能·python·神经网络·机器学习
韩立学长5 小时前
【开题答辩实录分享】以《基于python的奶茶店分布数据分析与可视化》为例进行答辩实录分享
开发语言·python·数据分析
2401_831501736 小时前
Python学习之day03学习(文件和异常)
开发语言·python·学习
可触的未来,发芽的智生6 小时前
触摸未来2025.10.06:声之密语从生理构造到神经网络的声音智能革命
人工智能·python·神经网络·机器学习·架构
Zwb2997926 小时前
Day 24 - 文件、目录与路径 - Python学习笔记
笔记·python·学习
hui函数6 小时前
python全栈(基础篇)——day03:后端内容(字符串格式化+简单数据类型转换+进制的转换+运算符+实战演示+每日一题)
开发语言·后端·python·全栈