爬虫案例—爬取ChinaUnix.net论坛板块标题

爬虫案例---爬取ChinaUnix.net论坛板块标题

ChinaUnix.net论坛网址:http://bbs.chinaunix.net

目标:抓取各个板块的标题和内容的标题

网站截图:

利用requests和xpath实现目标。源码如下:

python 复制代码
import requests
from lxml import etree


headers = {
    'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',}

url = 'http://bbs.chinaunix.net'

res = requests.get(url, headers=headers)

html = res.text

tree = etree.HTML(html)
div_lst = tree.xpath('//div[@class="mn"]/div/table')

for div in div_lst[:6]:
    print('板块名称:', div.xpath('./tbody[1]/tr/td//h2/a/text()')[0])
    for tr in div.xpath('./tbody[2]/tr'):
        for td in tr.xpath('./td'):
            # if td.xpath('./table'):
            #     print(td.xpath('./table/tr/td[2]/a/text()'))
            table_lst = td.xpath('./table')
            if table_lst:
                print(td.xpath('./table/tr/td[2]/a/text()')[0],end='\t')

        print('')
    print('=' * 50)

运行结果如下:

python 复制代码
抓取ChinaUnix板块标题.py

板块名称: IT运维
Docker	监控及自动化运维技术	集群和高可用	
服务器应用	虚拟化与云服务	分布式文件系统(FastDFS)	
数据安全	服务器及硬件技术	存储备份	
网络技术	初创企业IT架构选型	中间件技术	
Hadoop和大数据技术	
==================================================
板块名称: 操作系统
Linux新手园地	Linux系统管理	Windows系统	
BSD	AIX	AS400	
Solaris	HP-UX	其他UNIX	
移动操作系统	Mac OS X	
==================================================
板块名称: 程序设计
C/C++	Linux环境编程	内核源码	
Shell	Perl	Java	
PHP	Python	Ruby	
嵌入式开发	驱动开发	Web开发	
架构设计	CPU与编译器	软件配置管理	
Golang	Erlang	
==================================================
板块名称: 数据库技术
MySQL	Sybase	Oracle	
PostgreSQL	DB2	Informix	
数据仓库与数据挖掘	NoSQL技术	
==================================================
板块名称: 综合交流区
IT资讯	IT职业生涯	IT图书与评论	
二手交易	下载共享	
==================================================
板块名称: 站务及频道
站务交流	博客SNS站务交流区	CU活动专区	
频道交流区	
==================================================

Process finished with exit code 0
相关推荐
花开花富贵2 分钟前
是谁不会表达?来看看程序员的浪漫❤ 1.1
python
java1234_小锋25 分钟前
TensorFlow2 Python深度学习 - 生成对抗网络(GAN)实例
python·深度学习·tensorflow·tensorflow2
忘忧记27 分钟前
excel拆分和合并代码的思路整合和工具打包
python
天才测试猿33 分钟前
黑盒测试用例的四种设计方法
自动化测试·软件测试·python·功能测试·测试工具·职场和发展·测试用例
B站_计算机毕业设计之家34 分钟前
机器学习:基于大数据的基金数据分析可视化系统 股票数据 金融数据 股价 Django框架 大数据技术(源码) ✅
大数据·python·金融·数据分析·股票·etf·基金
2501_915106321 小时前
HTTPS 爬虫实战指南 从握手原理到反爬应对与流量抓包分析
爬虫·网络协议·ios·小程序·https·uni-app·iphone
*才华有限公司*1 小时前
《爬虫进阶之路:从模拟浏览器到破解动态加载的实战指南》
开发语言·python
深蓝电商API1 小时前
爬虫+Redis:如何实现分布式去重与任务队列?
redis·分布式·爬虫·python
我是华为OD~HR~栗栗呀1 小时前
华为OD-23届考研-测试面经
java·c++·python·华为od·华为·面试·单元测试
gc_22991 小时前
学习Python中Selenium模块的基本用法(20:安装Selenium IDE)
python·selenium