【万方数据库爬虫简单开发(自用)】

万方数据库爬虫简单开发(自用)(一)

使用Python爬虫实现万方数据库论文的搜索并获取信息

后续会逐步探索更新万方,谷歌学术的爬虫写法

1.获取url

python 复制代码
driver = webdriver.Chrome() #加载驱动
driver.get('https://www.wanfangdata.com.cn/')

2.输入关键词

python 复制代码
wait = WebDriverWait(driver, 10) 
search_box = wait.until(EC.presence_of_element_located((By.ID, 'search-input'))) #等待搜索框加载完成

注意这里的EC是导入的包起的别名

python 复制代码
from selenium.webdriver.support import expected_conditions as EC

先获取搜索框的id,在搜索框上右键->selectorsHub->copy id.selectorsHub是一个很好用的edge浏览器扩展,功能丰富,直接在edge扩展商店搜索即可。

python 复制代码
# 输入搜索关键词
search_box.send_keys(keyword)
# 模拟回车按钮
search_box.send_keys(Keys.RETURN)
time.sleep(5)
windows = driver.window_handles
# 切换到当前最新打开的窗口
driver.switch_to.window(windows[-1])

driver.switch_to.window(windows[-1])这句话是为了保证后面的BeautifulSoup获取到的信息来自当前页面而不是网站首页。

3.使用BeautifulSoup解析

python 复制代码
content = driver.page_source.encode('utf-8')
soup = BeautifulSoup(content, 'lxml')

4.获取文章标题信息

这里打开F12并分析页面结构:

可以看到文章标题在class='adjust'下的span标签里边。

python 复制代码
titles_bf=soup.find_all('span',{'class':'title'})
titles=BeautifulSoup(str(titles_bf),'lxml')
papers=titles.get_text().strip().split(',')
for paper in papers:
    print(paper)

这样我们就获取到文章的标题信息了。各位可以根据自己的需要再稍作修改即可。

相关推荐
deckcode8 分钟前
xpath定位
爬虫·功能测试·网络爬虫·web测试
独好紫罗兰14 分钟前
洛谷题单3-P1420 最长连号-python-流程图重构
开发语言·python·算法
kingmax5421200818 分钟前
深入解析:使用Python爬取Bilibili视频
开发语言·python·音视频
程序员一诺33 分钟前
【Flask开发】嘿马文学web完整flask项目第1篇:简介【附代码文档】
后端·python·flask·框架
Aerkui38 分钟前
Python列表(List)深度解析
开发语言·python
Bruce_Liuxiaowei40 分钟前
基于Flask的MBA考生成绩查询系统设计与实现
后端·python·flask
啊阿狸不会拉杆41 分钟前
第二十章:Python-Matplotlib库实现函数可视化
开发语言·python·matplotlib
浪里小妖龙1 小时前
网络爬虫的基础知识
python
晓13131 小时前
第七章 Python基础进阶-异常、模块与包(其五)
人工智能·python
赖皮猫1 小时前
PIKIE-RAG 本地部署实践
后端·python·flask