python爬虫代码

创建一个Python爬虫通常涉及到几个步骤,包括发送网络请求、解析网页内容、提取所需的数据以及存储数据。下面是一个简单的Python爬虫示例,使用了requests库来发送网络请求和BeautifulSoup库来解析HTML内容。

首先,你需要安装这两个:

bash 复制代码
pip install requests beautifulsoup4

然后,可以使用以下代码来创建一个简单的爬虫:

python 复制代码
import requests
from bs4 import BeautifulSoup

# 目标网页的URL
url = 'http://example.com'

# 发送GET请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 提取网页的标题
    title = soup.find('title').text
    print(f'网页标题: {title}')
    
    # 根据需要提取其他数据,例如提取所有的链接
    links = soup.find_all('a')
    for link in links:
        print(link.get('href'))
else:
    print('请求失败,状态码:', response.status_code)
相关推荐
Turnsole_y2 小时前
pycharm自动化测试初始化
python·selenium
R-G-B2 小时前
【02】C#入门到精通——C# 变量、输入/输出、类型转换
开发语言·c#·c# 变量·c#输入/输出·c#类型转换
星河队长2 小时前
C# 软件加密方法,有使用时间限制,同时要防止拷贝
开发语言·c#
史迪奇_xxx2 小时前
10、一个简易 vector:C++ 模板与 STL
java·开发语言·c++
2301_801252222 小时前
Java中的反射
java·开发语言
Kiri霧3 小时前
Rust开发环境搭建
开发语言·后端·rust
weixin-a153003083163 小时前
[数据抓取-1]beautifulsoup
开发语言·python·beautifulsoup
AI量化投资实验室3 小时前
15年122倍,年化43.58%,回撤才20%,Optuna机器学习多目标调参backtrader,附python代码
人工智能·python·机器学习
倔强青铜三3 小时前
苦练Python第67天:光速读取任意行,linecache模块解锁文件处理新姿势
人工智能·python·面试
小杨同学yx3 小时前
有关maven的一些知识点
java·开发语言