python爬虫代码

创建一个Python爬虫通常涉及到几个步骤,包括发送网络请求、解析网页内容、提取所需的数据以及存储数据。下面是一个简单的Python爬虫示例,使用了requests库来发送网络请求和BeautifulSoup库来解析HTML内容。

首先,你需要安装这两个:

bash 复制代码
pip install requests beautifulsoup4

然后,可以使用以下代码来创建一个简单的爬虫:

python 复制代码
import requests
from bs4 import BeautifulSoup

# 目标网页的URL
url = 'http://example.com'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页的标题
    title = soup.find('title').text
    print(f'网页标题: {title}')
    
    # 根据需要提取其他数据,例如提取所有的链接
    links = soup.find_all('a')
    for link in links:
        print(link.get('href'))
else:
    print('请求失败,状态码:', response.status_code)
相关推荐
rzl0216 分钟前
java web5(黑马)
java·开发语言·前端
jingling55528 分钟前
面试版-前端开发核心知识
开发语言·前端·javascript·vue.js·面试·前端框架
阿蒙Amon1 小时前
【Python小工具】使用 OpenCV 获取视频时长的详细指南
python·opencv·音视频
m0_687399841 小时前
写一个Ununtu C++ 程序,调用ffmpeg API, 来判断一个数字电影的视频文件mxf 是不是Jpeg2000?
开发语言·c++·ffmpeg
爱上语文1 小时前
Redis基础(5):Redis的Java客户端
java·开发语言·数据库·redis·后端
A~taoker1 小时前
taoker的项目维护(ng服务器)
java·开发语言
萧曵 丶1 小时前
Rust 中的返回类型
开发语言·后端·rust
hi星尘2 小时前
深度解析:Java内部类与外部类的交互机制
java·开发语言·交互
看到我,请让我去学习2 小时前
Qt编程-qml操作(js,c++,canvas)
开发语言·qt
橘子编程2 小时前
Python-Word文档、PPT、PDF以及Pillow处理图像详解
开发语言·python