python:最简单爬虫之爬取小说网Hello wrold

以下用最简单的示例来演示爬取某小说网的类目名称。

新建一个retest.py,全文代码如下,读者可以复制后直接运行。代码中我尽量添加了一些注释便于理解。

需要说明的一点,该小说网站如果后续更新改版了,文中截取字符的正则表达式可能需要根据做一些变动,才能成功爬取到我们想要的名称。

一、小说网站首页

我们想爬取的是首页-》全部分类 菜单下的小说分类名称

二、retest.py代码
python 复制代码
# -*- coding: UTF-8 -*-
import re
import urllib.request
import codecs
import time

# 使用re 与 urllib 包简单爬取小说种类名称
class Retest(object):
    def __init__(self):
        self.getText()

    # 爬取方法
    def getText(self):
        print("准备开始爬取")
        # 请求网站首页,获取页面返回内容
        url = "https://www.readnovel.com"
        response = urllib.request.urlopen(url, timeout=5)
        result = response.read().decode('utf-8') #使用utf-8 避免中文乱码
        print(result)   #网页内容
        # 网页中的原字符串
        # '<dd><a href="/category/30020_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe630;</em><i>现代言情</i></a></dd>'
        # 通过正则表达式与固定字符组合,过滤后得到新字符串
        pr = '<dd><a href="/category/.*?_f1_f1_f1_f1_f1_0_1"><em class="iconfont">.*?;</em><i>.*?</i></a></dd>'
        print("过滤后的文本:=====")
        pattern = re.compile(pr)    #将正则表达式编译为正则对象
        movieList = pattern.findall(result) #通过正则表达式从源字符串中截取,得到一个movieList数组
        print(movieList)
        # 使用map函数,将movieList数组中各元素,通过lambda匿名函数内的方法,过滤掉其他标签字符,仅保留我们需要的类目中文标题如"现代言情"
        moveTitleList = map(lambda x: x.split("<i>")[1].split("</i>")[0], movieList)
        # 最后,依次打印出各类目名称
        for movie in moveTitleList:
            print("%s\r\n" % movie)


if __name__ == '__main__':
    Retest()
三、运行后结果
四、分析说明

下面结合上述代码再做一些补充说明,便于我们初学者更易于理解。

1.查找关键字,正则表达式获取字符串

我们在网站首页,查看前端页面源代码,并查找到关键字

红线标注的就是我们需要通过正则表达式从全文中定位并截取的字符串。

复制代码
<dd><a href="/category/30020_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe630;</em><i>现代言情</i></a></dd>
<dd><a href="/category/30013_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe632;</em><i>古代言情</i></a></dd>

对应的正则表达式如下:

复制代码
<dd><a href="/category/.*?_f1_f1_f1_f1_f1_0_1"><em class="iconfont">.*?;</em><i>.*?</i></a></dd>

我们只需要将固定不变的关键字符串与可变的组合在一起即可。

"30020"、"&#xe630;"、"现代言情"这三个是动态的,我们用".*?"代替,代表任意字符串。然后通过pattern.findall得到一个movieList数组,数组内的成员如下。

'\\\\\\现代言情\\\', '\\\\\\古代言情\\\', '\\\\\\浪漫青春\\\', '\\\\\\玄幻言情\\\', '\\\\\\仙侠奇缘\\\', '\\\\\\悬疑\\\', '\\\\\\科幻空间\\\', '\\\\\\游戏竞技\\\', '\\\\\\轻小说\\\'

2.二次过滤

我们仅需要类目中文名称,所有需要对得到的数据做二次过滤。

复制代码
moveTitleList = map(lambda x: x.split("<i>")[1].split("</i>")[0], movieList)

map可以从movieList数组中逐个成员进行函数处理。而我们这里使用lambda定义了一个匿名函数

lambda x: x.split("<i>")[1].split("</i>")[0],意思是在成员中获取"<i>"第二个元素,再获取"</i>"第一个元素。即<dd><a href="/category/30020_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe630;</em><i>现代言情</i></a></dd>,最终可以获取到"现代言情"这几个字。

3.尾声

以上演示了如何爬取网页中的某一组数据,读者掌握理解后,可以自己尝试爬取其他数据,如推荐栏目下的书名清单等。

如果我的文章解决了你的问题,欢迎点赞、收藏或评论。

复制代码
相关推荐
钮钴禄·爱因斯晨6 分钟前
C语言 | 函数核心机制深度解构:从底层架构到工程化实践
c语言·开发语言·数据结构
wkj0018 分钟前
php中array($this, ‘loadClass‘)表示啥意思?
android·开发语言·php
Stuomasi_xiaoxin9 分钟前
服务器重装后如何“复活”旧硬盘上的 Anaconda 环境?—— 一次完整的排错与恢复记录
开发语言·python·github
这里有鱼汤14 分钟前
一招横盘突破选股法,赚钱不靠运气靠图形,靠概率!
后端·python
0wioiw034 分钟前
Ubuntu基础(Python虚拟环境和Vue)
linux·python·ubuntu
xiao5kou4chang6kai444 分钟前
Python-GEE遥感云大数据分析与可视化(如何建立基于云计算的森林监测预警系统)
python·数据分析·云计算·森林监测·森林管理
presenttttt1 小时前
用Python和OpenCV从零搭建一个完整的双目视觉系统(四)
开发语言·python·opencv·计算机视觉
每日出拳老爷子1 小时前
[C#] 使用TextBox换行失败的原因与解决方案:换用RichTextBox的实战经验
开发语言·c#
半桔1 小时前
【Linux手册】从接口到管理:Linux文件系统的核心操作指南
android·java·linux·开发语言·面试·系统架构
nightunderblackcat1 小时前
新手向:实现ATM模拟系统
java·开发语言·spring boot·spring cloud·tomcat·maven·intellij-idea