spider--某站搜索--自动化dp

免责声明:本文仅作分享!

自动化: DrissionPage

DrissionPage官网

python 复制代码
import time
from DrissionPage import ChromiumPage,ChromiumOptions
import pandas as pd

# 这里配置了浏览器路径,不配置的话直接 page = ChromiumPage()
co = ChromiumOptions()
co.set_browser_path("D:\chrome-win64\chrome-win64\chrome.exe")
page = ChromiumPage(co)


name = str(input("输入查询内容:"))
page.get(f'https://search.bilibili.com/all?&keyword={name}')
df = pd.DataFrame()
data_list = []

while True:
    for i in range(3):
        page.scroll.down(500)
        print("*"*30)
    link_a = page.eles("x://div[@class='bili-video-card__wrap __scale-wrap']/a/@href") # 链接
    # name_a = page.eles('.:bili-video-card__info--author') # 用户
    time_a = page.eles('.:bili-video-card__info--date')   # 发布时间
    name_n = page.eles('.:bili-video-card__info--owner')  # 用户主页
    namesa = page.eles('.:bili-video-card__stats')        # 播放量 时间

    for lj,fb,zy,bf in zip(link_a,time_a,name_n,namesa):
        a = lj.link.replace('\n','')
        # b = yh.text.replace('\n','')
        c = fb.text.replace('\n','').replace('·','')
        d = zy.text.replace('\n','')
        e = bf.text.replace('\n','')
        print(a,c,d,e)
        row_data = {
            '链接': a if a else None,
            # '用户': b if b else None,
            '发布时间': c if c else None,
            '用户': d if d else None,
            '播放量/视频时间': e if e else None,}
        data_list.append(row_data)
        df = pd.concat([df, pd.DataFrame(data_list)], ignore_index=True)
        data_list = []
    df.to_excel(name + '---b站.xlsx', index=False)

    time.sleep(1)
    try:
        page.ele('@text()=下一页').click()
    except Exception:
        print("获取完毕·")
        break

相关推荐
无羡仙19 小时前
JavaScript 迭代器
前端
XiaoSong19 小时前
从未有过如此丝滑的React Native开发体验:EAS开发构建完全指南
前端·react.js
掘金者阿豪19 小时前
打通KingbaseES与MyBatis:一篇详尽的Java数据持久化实践指南
前端·后端
RoyLin20 小时前
TypeScript设计模式:原型模式
前端·后端·node.js
我是天龙_绍20 小时前
vue Composables 组合式函数
前端
zjjuejin20 小时前
Maven项目的核心蓝图:POM文件
前端·maven
小气小憩20 小时前
“暗战”百度搜索页:Monica悬浮球被“围剿”,一场AI Agent与传统巨头的流量攻防战
前端·人工智能
前端付豪20 小时前
1、震惊!99% 前端都没搞懂的 JavaScript 类型细节
前端·javascript·面试
朝与暮20 小时前
js符号(Symbol)
前端·javascript
数据智能老司机20 小时前
精通 Python 设计模式——创建型设计模式
python·设计模式·架构