谷歌学术内容爬取

最近面临导师灵魂拷问:

"你怎么知道你提出的这个方法前人都没有提出过呢?"

"你相比于之前的方法,创新点究竟在哪里?"

好吧,为了彻底杜绝这样的问题,开始学习使用谷歌学术。先来学习下关键词检索



哈哈哈哈区区50000篇文章。。。。。。

我特么翻到何年何月呀!🙄

于是滋生了Python写爬虫的想法。


基本原理如下:

使用scholarly库。下面是一份简单、分步骤的指南:

  1. 安装scholarly:

    bash 复制代码
    pip install scholarly
  2. 编写Python脚本:

    python 复制代码
    from scholarly import scholarly
    
    # 搜索关键词
    搜索查询 = scholarly.search_pubs('你感兴趣的关键词')
    
    # 检索前5个结果
    for i in range(5):
        出版物 = next(搜索查询)
        标题 = 出版物['bib']['title']
        作者 = ', '.join(出版物['bib']['author'])
        摘要 = 出版物['bib'].get('abstract', '没有摘要可用')
    
        print(f"标题: {标题}")
        print(f"作者: {作者}")
        print(f"摘要: {摘要}\n")
  3. 运行脚本:

    bash 复制代码
    python 你的脚本.py

'你感兴趣的关键词'替换为你实际感兴趣的关键词。脚本将打印前5个相关文献项目的标题、作者和摘要。


之后对代码进行了一些改进,包括

  1. 运行前,评估文献总数
  2. 增加合适的睡眠时长(防止请求太频繁被ban掉)
  3. 一边请求,一遍将数据写入本地文件中。防止被ban掉之后,数据全没了

目前一切正常


导入excel并进行分列,似乎效果还行


点赞👍+关注⭐+私信,免费获取代码

支持 👉 快速下载地址

相关推荐
XiaoLeisj2 小时前
【智能协同云图库】智能协同云图库第七弹:基于 Jsoup 爬虫实现以图搜图、颜色搜图、批量操作
spring boot·爬虫·servlet·java-ee·mybatis·门面模式·jsoup
小白学大数据2 天前
基于Python的新闻爬虫:实时追踪行业动态
开发语言·爬虫·python
小白iP代理2 天前
动态IP+AI反侦测:新一代爬虫如何绕过生物行为验证?
人工智能·爬虫·tcp/ip
叫我:松哥2 天前
基于网络爬虫的在线医疗咨询数据爬取与医疗服务分析系统,技术采用django+朴素贝叶斯算法+boostrap+echart可视化
人工智能·爬虫·python·算法·django·数据可视化·朴素贝叶斯
bksheng3 天前
【SSL证书校验问题】通过 monkey-patch 关掉 SSL 证书校验
网络·爬虫·python·网络协议·ssl
叫我:松哥3 天前
优秀案例:基于python django的智能家居销售数据采集和分析系统设计与实现,使用混合推荐算法和LSTM算法情感分析
爬虫·python·算法·django·lstm·智能家居·推荐算法
xnglan3 天前
使用爬虫获取游戏的iframe地址
开发语言·爬虫·python·学习
荼蘼3 天前
python爬虫实战-小案例:爬取苏宁易购的好评
开发语言·爬虫·python
香蕉可乐荷包蛋4 天前
爬虫基础概念
爬虫
小白学大数据4 天前
多线程Python爬虫:加速大规模学术文献采集
开发语言·爬虫·python·自动化