python:最简单爬虫之爬取小说网Hello wrold

以下用最简单的示例来演示爬取某小说网的类目名称。

新建一个retest.py,全文代码如下,读者可以复制后直接运行。代码中我尽量添加了一些注释便于理解。

需要说明的一点,该小说网站如果后续更新改版了,文中截取字符的正则表达式可能需要根据做一些变动,才能成功爬取到我们想要的名称。

一、小说网站首页

我们想爬取的是首页-》全部分类 菜单下的小说分类名称

二、retest.py代码
python 复制代码
# -*- coding: UTF-8 -*-
import re
import urllib.request
import codecs
import time

# 使用re 与 urllib 包简单爬取小说种类名称
class Retest(object):
    def __init__(self):
        self.getText()

    # 爬取方法
    def getText(self):
        print("准备开始爬取")
        # 请求网站首页,获取页面返回内容
        url = "https://www.readnovel.com"
        response = urllib.request.urlopen(url, timeout=5)
        result = response.read().decode('utf-8') #使用utf-8 避免中文乱码
        print(result)   #网页内容
        # 网页中的原字符串
        # '<dd><a href="/category/30020_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe630;</em><i>现代言情</i></a></dd>'
        # 通过正则表达式与固定字符组合,过滤后得到新字符串
        pr = '<dd><a href="/category/.*?_f1_f1_f1_f1_f1_0_1"><em class="iconfont">.*?;</em><i>.*?</i></a></dd>'
        print("过滤后的文本:=====")
        pattern = re.compile(pr)    #将正则表达式编译为正则对象
        movieList = pattern.findall(result) #通过正则表达式从源字符串中截取,得到一个movieList数组
        print(movieList)
        # 使用map函数,将movieList数组中各元素,通过lambda匿名函数内的方法,过滤掉其他标签字符,仅保留我们需要的类目中文标题如"现代言情"
        moveTitleList = map(lambda x: x.split("<i>")[1].split("</i>")[0], movieList)
        # 最后,依次打印出各类目名称
        for movie in moveTitleList:
            print("%s\r\n" % movie)


if __name__ == '__main__':
    Retest()
三、运行后结果
四、分析说明

下面结合上述代码再做一些补充说明,便于我们初学者更易于理解。

1.查找关键字,正则表达式获取字符串

我们在网站首页,查看前端页面源代码,并查找到关键字

红线标注的就是我们需要通过正则表达式从全文中定位并截取的字符串。

复制代码
<dd><a href="/category/30020_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe630;</em><i>现代言情</i></a></dd>
<dd><a href="/category/30013_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe632;</em><i>古代言情</i></a></dd>

对应的正则表达式如下:

复制代码
<dd><a href="/category/.*?_f1_f1_f1_f1_f1_0_1"><em class="iconfont">.*?;</em><i>.*?</i></a></dd>

我们只需要将固定不变的关键字符串与可变的组合在一起即可。

"30020"、"&#xe630;"、"现代言情"这三个是动态的,我们用".*?"代替,代表任意字符串。然后通过pattern.findall得到一个movieList数组,数组内的成员如下。

'\\\\\\现代言情\\\', '\\\\\\古代言情\\\', '\\\\\\浪漫青春\\\', '\\\\\\玄幻言情\\\', '\\\\\\仙侠奇缘\\\', '\\\\\\悬疑\\\', '\\\\\\科幻空间\\\', '\\\\\\游戏竞技\\\', '\\\\\\轻小说\\\'

2.二次过滤

我们仅需要类目中文名称,所有需要对得到的数据做二次过滤。

复制代码
moveTitleList = map(lambda x: x.split("<i>")[1].split("</i>")[0], movieList)

map可以从movieList数组中逐个成员进行函数处理。而我们这里使用lambda定义了一个匿名函数

lambda x: x.split("<i>")[1].split("</i>")[0],意思是在成员中获取"<i>"第二个元素,再获取"</i>"第一个元素。即<dd><a href="/category/30020_f1_f1_f1_f1_f1_0_1"><em class="iconfont">&#xe630;</em><i>现代言情</i></a></dd>,最终可以获取到"现代言情"这几个字。

3.尾声

以上演示了如何爬取网页中的某一组数据,读者掌握理解后,可以自己尝试爬取其他数据,如推荐栏目下的书名清单等。

如果我的文章解决了你的问题,欢迎点赞、收藏或评论。

复制代码
相关推荐
Y4090012 分钟前
C语言转Java语言,相同与相异之处
java·c语言·开发语言·笔记
都叫我大帅哥1 小时前
Python的Optional:让你的代码优雅处理“空值”危机
python
曾几何时`3 小时前
基于python和neo4j构建知识图谱医药问答系统
python·知识图谱·neo4j
古月-一个C++方向的小白5 小时前
C++11之lambda表达式与包装器
开发语言·c++
写写闲篇儿6 小时前
Python+MongoDB高效开发组合
linux·python·mongodb
沐知全栈开发6 小时前
Eclipse 生成 jar 包
开发语言
杭州杭州杭州7 小时前
Python笔记
开发语言·笔记·python
tanyongxi667 小时前
C++ AVL树实现详解:平衡二叉搜索树的原理与代码实现
开发语言·c++
阿葱(聪)8 小时前
java 在k8s中的部署流程
java·开发语言·docker·kubernetes
路人蛃8 小时前
通过国内扣子(Coze)搭建智能体并接入discord机器人
人工智能·python·ubuntu·ai·aigc·个人开发