python爬虫代码

创建一个Python爬虫通常涉及到几个步骤,包括发送网络请求、解析网页内容、提取所需的数据以及存储数据。下面是一个简单的Python爬虫示例,使用了requests库来发送网络请求和BeautifulSoup库来解析HTML内容。

首先,你需要安装这两个:

bash 复制代码
pip install requests beautifulsoup4

然后,可以使用以下代码来创建一个简单的爬虫:

python 复制代码
import requests
from bs4 import BeautifulSoup

# 目标网页的URL
url = 'http://example.com'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页的标题
    title = soup.find('title').text
    print(f'网页标题: {title}')
    
    # 根据需要提取其他数据,例如提取所有的链接
    links = soup.find_all('a')
    for link in links:
        print(link.get('href'))
else:
    print('请求失败,状态码:', response.status_code)
相关推荐
摩羯座-1856903059410 分钟前
爬坑 10 年!京东店铺全量商品接口实战开发:从分页优化、SKU 关联到数据完整性闭环
linux·网络·数据库·windows·爬虫·python
ACERT33314 分钟前
5.吴恩达机器学习—神经网络的基本使用
人工智能·python·神经网络·机器学习
韩立学长27 分钟前
【开题答辩实录分享】以《基于python的奶茶店分布数据分析与可视化》为例进行答辩实录分享
开发语言·python·数据分析
天若有情67333 分钟前
C++空值初始化利器:empty.h使用指南
开发语言·c++
远远远远子39 分钟前
类与对象 --1
开发语言·c++·算法
无敌最俊朗@1 小时前
C/C++ 关键关键字面试指南 (const, static, volatile, explicit)
c语言·开发语言·c++·面试
2401_831501731 小时前
Python学习之day03学习(文件和异常)
开发语言·python·学习
酷~1 小时前
C语言模拟面向对象编程方法之多态
c语言·开发语言
可触的未来,发芽的智生2 小时前
触摸未来2025.10.06:声之密语从生理构造到神经网络的声音智能革命
人工智能·python·神经网络·机器学习·架构
Zwb2997922 小时前
Day 24 - 文件、目录与路径 - Python学习笔记
笔记·python·学习