正则表达式与bs4选择器筛选论文数准确率之比较

一、正则爬取论文网首页论文标题的示例

python 复制代码
import requests
import re
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) '
                  'Chrome/83.0.4103.116 Safari/537.36'}


def get_html(url):
    try:
        res = requests.get(url, headers=headers)
        res.raise_for_status()
        res.encoding = 'gbk'
        return res.text
    except:
        print('response error!')


def paper_title(page):
    my_items = re.findall(r'<a href="(.*?)" target="_blank">(.*?)</a>', page)
    print('paper count of main page:' + str(len(my_items)))       # 用正则的findall得出首页所有论文的超链接数量
    for item in my_items:
        print(item)

二、主函数使用bs4的CSS选择器select()一样算出了论文数:

python 复制代码
if __name__ == '__main__':
    url = 'https://www.lunwendata.com/'
    html = get_html(url)
    soup = BeautifulSoup(html, 'html.parser')
    size = len(soup.select('a[target="_blank"]'))  # 用CSS选择器得出首页所有论文超链接数
    print('paper count of main page:' + str(size))
    paper_title(html)

三、输出结果得出用正则方法筛选准确率更高:

可以看到,用正则的方法筛选出的数量比bs4的select选择器筛选出的少了20个,证明正则的方法筛选数量的准确率更高。

相关推荐
gnip3 小时前
总结一期正则表达式
javascript·正则表达式
77qqqiqi5 小时前
正则表达式
java·后端·正则表达式
人生在勤,不索何获-白大侠2 天前
day15——Java常用API(二):常见算法、正则表达式与异常处理详解
java·算法·正则表达式
虎皮辣椒小怪兽2 天前
正则表达式
正则表达式
Hilaku2 天前
用“人话”讲明白10个最常用的正则表达式
前端·javascript·正则表达式
feifeigo12312 天前
Java 正则表达式高级用法
java·mysql·正则表达式
决战软件之巅16 天前
Python 正则表达式
正则表达式
小浪学编程16 天前
C#学习13——正则表达式
学习·正则表达式
yuanyxh17 天前
《精通正则表达式》精华摘要
前端·javascript·正则表达式
red润18 天前
被转义字符麻痹的一天:理解转义字符串
前端·javascript·正则表达式