python项目练习——15.网页爬虫应用程序

这个项目可以让用户输入一个网址,然后爬取该网页的内容,并提取出其中的信息,比如标题、链接等。这个项目涉及到网络请求、HTML 解析、数据提取等方面的技术。

代码示例:

import tkinter as tk # 导入 Tkinter 库

from tkinter import scrolledtext # 导入 scrolledtext 模块

import requests # 导入 requests 库

from bs4 import BeautifulSoup # 导入 BeautifulSoup 库

class WebScraperApp:

def init(self, master):

self.master = master

self.master.title('简易网页爬虫')

创建界面组件

self.label_url = tk.Label(master, text='网址:')

self.label_url.grid(row=0, column=0)

self.entry_url = tk.Entry(master)

self.entry_url.grid(row=0, column=1)

self.btn_scrape = tk.Button(master, text='爬取', command=self.scrape_website)

self.btn_scrape.grid(row=0, column=2)

self.textbox = scrolledtext.ScrolledText(master, width=40, height=10)

self.textbox.grid(row=1, column=0, columnspan=3)

def scrape_website(self):

url = self.entry_url.get()

if url:

try:

response = requests.get(url) # 发送请求获取网页内容

soup = BeautifulSoup(response.text, 'html.parser') # 使用 BeautifulSoup 解析网页内容

提取网页标题并显示在文本框中

title = soup.title.string.strip()

self.textbox.insert(tk.END, f'标题: {title}\n')

提取所有链接并显示在文本框中

links = soup.find_all('a')

for link in links:

href = link.get('href')

self.textbox.insert(tk.END, f'链接: {href}\n')

except Exception as e:

self.textbox.insert(tk.END, f'爬取网页失败: {e}\n')

else:

self.textbox.insert(tk.END, '请输入网址\n')

if name == 'main':

root = tk.Tk() # 创建主窗口

app = WebScraperApp(root) # 创建网页爬虫应用程序实例

root.mainloop() # 运行主事件循环

代码逻辑分析:

使用 Tkinter 库创建了一个简单的图形界面网页爬虫应用程序。用户可以在输入框中输入网址,点击爬取按钮将网页内容爬取下来,并提取其中的标题和链接,并在界面上显示出来。网页内容通过 requests 库发送请求获取,然后通过 BeautifulSoup 库解析 HTML 内容提取信息。

相关推荐
jerryinwuhan24 分钟前
Python快速入门(纯净版)
python
liferecords24 分钟前
第 12 讲 · Python 侧接入:火焰图定位热点与间接使用硬件加速
python·性能分析·鲲鹏·火焰图·ctypes
hhzz25 分钟前
【OpenCV 入门到精通 11】机器学习应用:KNN、SVM 与 K-Means 实战
人工智能·python·深度学习·opencv
传奇开心果编程38 分钟前
【Rust入门练中学】 第1课:从零开始
开发语言·学习·rust
K 旺仔小馒头39 分钟前
【项目】商城系统用户端测试报告
自动化测试·python·功能测试
东莞市云毅网络有限公司1 小时前
用 SQLite FTS5 给企业文档建本地全文索引:中文分词与权重调优
python·数据清洗·rag·企业知识库·文档解析
钱栈up1 小时前
health从200变000:一次差点引发双端口冲突的后端巡检复盘
python
正经教主1 小时前
【FDE系列】阶段2:Day 22:变量、数据类型、条件判断 — Python 的“记忆“和“判断“
人工智能·python·fde
高亦真1 小时前
今天是学习嵌入式的第39天
linux·学习·算法
Brilliantwxx1 小时前
【STM32】 SPI阻塞式通信与HAL源码(串口读ID实战)
开发语言·stm32·单片机·嵌入式硬件·ecmascript