Python爬取数据(二)

一.example2包下的

1.re模块的compile函数使用

python 复制代码
import re

pattern=re.compile(r'\d+')
print(pattern)

2.match的方法使用

python 复制代码
import re
pattern=re.compile(r'\d+')
# m1=pattern.match('one123twothree345four')
#参数2:指定起始位置(包含),参数3:终止位置(包含),注意匹配一次成功后结束
m1=pattern.match('one123twothree345four',3,7)
print(m1.group())

3.search方法的使用

python 复制代码
import re
pattern=re.compile(r'\d+')
m1=pattern.search('one123twothree345four')
print(m1.group())

4.findall方法的使用

python 复制代码
import re
pattern=re.compile(r'\d+')



result=pattern.findall('hello 123 world 456')
print(result)

5.split方法的使用

python 复制代码
import re

str1='a,b,c'
print(str1.split(','))

str2='a,b;;c,d'
pattern=re.compile(r"[\s\,\;]+")
print(pattern.split(str2))

6.sub方法的使用

python 复制代码
import re
string='<h1 class="test1">HelloWorld</h1>'

pattern=re.compile(r'\d')
print(pattern.sub('2',string))
print(pattern.sub('2',string,1))

pattern=re.compile('<(.\\d)\\sclass="(?P<classname>.*?)">.*?</(\\1)>')
print(pattern.search(string).group(3))

def fun(m):
    return 'after sub'+m.group('classname')
print(pattern.sub(fun, string))

7.贪婪匹配

python 复制代码
import re
string='<h1 class="test1">HelloWorld</h1>'
#贪婪匹配
pattern=re.compile(r'<.\d\sclass=.*>')
print(pattern.search(string).group())
#关闭贪婪匹配
pattern=re.compile(r'<.\d\sclass=.*?>')
print(pattern.search(string).group())

8.综合案例

python 复制代码
import requests
import re
def handle_detail_re(content):
    #re.S表示全文匹配
    # item_search=re.compile('ts_solgcont_title">.*?</div>\r\n\t</div>',re.S)
    item_search = re.compile('ts_solgcont_title">.*?<div class="ts_solgcont_bot">.*?</div>', re.S)
    #获取每一条图书的数据
    all_item=item_search.findall(content)
    #匹配书名
    title_search=re.compile('target="_blank">(.*?)</a>')
    #匹配作者
    author_search=re.compile('<p>作者(.*?)</p>')
    for item in all_item:
        print({
            "title":title_search.search(item).group(1),
            "author":author_search.search(item).group(1),
        })


def main():
    header={
        "User-Agent":"Mozilla/5.0 (X11; Linux aarch64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Safari/537.36 CrKey/1.54.250320 Edg/135.0.0.0"
    }

    booktype=['java','python','c']
    for key in booktype:
        url='http://www.cmpedu.com/so.htm?&KEY={}'.format(key)
        response=requests.get(url,headers=header)
        handle_detail_re(response.text)

if __name__ == '__main__':
    main()

三.example3下的

安装beautifulsoup4的指令:pip3 install beautifulsoup4

beautifulsoup4:Beautiful Soup(bs4)是一个用于从HTML或XML文件中提取数据的Python库。

1.获取节点

python 复制代码
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p >
<p class="story">Once upon a time there were three little sisters; and their names were
<!-- Elsie -->,
 and
;
and they lived at the bottom of a well.</p >
<p class="story">...</p >
"""
#参数1:html代码片段
# 参数2:解析器
soup=BeautifulSoup(html,'lxml')
#获得标题
print(soup.title)
#获得头标记
print(soup.head)
#获得体标记
print(soup.body)
#获得标题元素内容
print(soup.title.string)
#获得标记名称
print(soup.title.name)
#默认的模式下只能匹配第一个节点,其他节点会被忽略
print(soup.p)
相关推荐
凤年徐8 分钟前
C++类和对象(上):从设计图到摩天大楼的构建艺术
c语言·开发语言·c++·类和对象
從南走到北20 分钟前
JAVA同城打车小程序APP打车顺风车滴滴车跑腿源码微信小程序打车源码
java·开发语言·微信·微信小程序·小程序
落日漫游25 分钟前
K8s资源管理:高效管控CPU与内存
java·开发语言·kubernetes
PP东44 分钟前
Pyhton基础之多继承、多态
开发语言·python
元直数字电路验证1 小时前
Jakarta EE课程扩展阅读(二)
开发语言·jakarta ee
滴滴滴嘟嘟嘟.1 小时前
Qt动画功能学习
开发语言·qt·学习
菜鸟的日志1 小时前
【音频字幕】构建一个离线视频字幕生成系统:使用 WhisperX 和 Faster-Whisper 的 Python 实现
python·whisper·音视频
福大大架构师每日一题1 小时前
go 1.25.1发布:重点修复net/http跨域保护安全漏洞(CVE-2025-47910)
开发语言·http·golang
Ophelia(秃头版1 小时前
经典设计模式:单例模式、工厂模式
java·开发语言·单例模式
Dear.爬虫2 小时前
Golang中逃逸现象, 变量“何时栈?何时堆?”
开发语言·后端·golang