简单的Python爬虫实例

下面是一个简单的Python爬虫实例,用于抓取一个网页的标题。我们将使用requests库来发送HTTP请求,使用BeautifulSoup库来解析HTML。

首先,你需要安装这两个库。如果你还没有安装,可以使用以下命令:

复制代码
pip install requests
pip install beautifulsoup4

接下来是一个简单的爬虫代码示例:

复制代码
import requests
from bs4 import BeautifulSoup
# 目标网页URL
url = 'http://example.com'
# 发送HTTP GET请求
response = requests.get(url)
# 检查请求是否成功
if response.status_code == 200:
    # 解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    # 查找并打印网页的标题
    title = soup.find('title').text
    print(f'网页标题是: {title}')
else:
    print(f'请求失败,状态码: {response.status_code}')

代码解释

‌导入库‌:

import requests

from bs4 import BeautifulSoup

‌定义目标网页的URL‌:

url = 'http://example.com'

‌发送HTTP GET请求‌:

response = requests.get(url)

‌检查请求是否成功‌:

if response.status_code == 200:

这里我们检查返回的状态码是否为200,表示请求成功。

‌解析HTML内容‌:

soup = BeautifulSoup(response.text, 'html.parser')

使用BeautifulSoup解析获取的HTML内容。

‌查找并打印网页的标题‌:

title = soup.find('title').text

print(f'网页标题是: {title}')

查找HTML中的<title>标签,并打印其文本内容。

‌处理请求失败的情况‌:

else:

print(f'请求失败,状态码: {response.status_code}')

注意事项

‌爬取频率‌:请不要频繁地爬取同一个网站,以免给网站服务器带来负担。遵守网站的robots.txt规则(通常位于http://example.com/robots.txt),了解允许爬取的内容和频率。

‌法律与道德‌:确保你的爬虫行为符合法律法规和网站的条款与条件。不要爬取敏感信息或侵犯他人隐私。

‌错误处理‌:在实际应用中,添加更多的错误处理机制,例如处理网络异常、超时等。

希望这个简单的示例能帮助你入门Python爬虫开发!

相关推荐
你怎么知道我是队长19 分钟前
C语言---循环结构
c语言·开发语言·算法
o0o_-_1 小时前
【go/gopls/mcp】官方gopls内置mcp server使用
开发语言·后端·golang
Dxy12393102161 小时前
python把文件从一个文件复制到另一个文件夹
开发语言·python
sonrisa_2 小时前
collections模块
python
酷飞飞2 小时前
Qt Designer与事件处理
开发语言·qt·命令模式
折翼的恶魔2 小时前
数据分析:排序
python·数据分析·pandas
天雪浪子2 小时前
Python入门教程之赋值运算符
开发语言·python
Wadli2 小时前
C++语法 | static静态|单例模式
开发语言·c++·单例模式
他们都不看好你,偏偏你最不争气3 小时前
【iOS】AFNetworking
开发语言·macos·ios·objective-c
站大爷IP3 小时前
5个技巧写出专业Python代码:从新手到进阶的实用指南
python