spider--某站搜索--自动化dp

免责声明:本文仅作分享!

自动化: DrissionPage

DrissionPage官网

python 复制代码
import time
from DrissionPage import ChromiumPage,ChromiumOptions
import pandas as pd

# 这里配置了浏览器路径,不配置的话直接 page = ChromiumPage()
co = ChromiumOptions()
co.set_browser_path("D:\chrome-win64\chrome-win64\chrome.exe")
page = ChromiumPage(co)


name = str(input("输入查询内容:"))
page.get(f'https://search.bilibili.com/all?&keyword={name}')
df = pd.DataFrame()
data_list = []

while True:
    for i in range(3):
        page.scroll.down(500)
        print("*"*30)
    link_a = page.eles("x://div[@class='bili-video-card__wrap __scale-wrap']/a/@href") # 链接
    # name_a = page.eles('.:bili-video-card__info--author') # 用户
    time_a = page.eles('.:bili-video-card__info--date')   # 发布时间
    name_n = page.eles('.:bili-video-card__info--owner')  # 用户主页
    namesa = page.eles('.:bili-video-card__stats')        # 播放量 时间

    for lj,fb,zy,bf in zip(link_a,time_a,name_n,namesa):
        a = lj.link.replace('\n','')
        # b = yh.text.replace('\n','')
        c = fb.text.replace('\n','').replace('·','')
        d = zy.text.replace('\n','')
        e = bf.text.replace('\n','')
        print(a,c,d,e)
        row_data = {
            '链接': a if a else None,
            # '用户': b if b else None,
            '发布时间': c if c else None,
            '用户': d if d else None,
            '播放量/视频时间': e if e else None,}
        data_list.append(row_data)
        df = pd.concat([df, pd.DataFrame(data_list)], ignore_index=True)
        data_list = []
    df.to_excel(name + '---b站.xlsx', index=False)

    time.sleep(1)
    try:
        page.ele('@text()=下一页').click()
    except Exception:
        print("获取完毕·")
        break

相关推荐
文心快码BaiduComate5 分钟前
“一人即团队”——一句话驱动智能体团队
前端·后端·程序员
我是ed5 分钟前
# vue3 实现前端生成水印效果
前端
IAtlantiscsdn18 分钟前
Redis7底层数据结构解析
前端·数据结构·bootstrap
小枫编程18 分钟前
Spring Boot 与前端文件上传跨域问题:Multipart、CORS 与网关配置
前端·spring boot·后端
海域云SeaArea_19 分钟前
CentOS7 安装 Jumpserver 3.10.15
运维
我星期八休息21 分钟前
深入理解跳表(Skip List):原理、实现与应用
开发语言·数据结构·人工智能·python·算法·list
蒋星熠31 分钟前
如何在Anaconda中配置你的CUDA & Pytorch & cuNN环境(2025最新教程)
开发语言·人工智能·pytorch·python·深度学习·机器学习·ai
合作小小程序员小小店1 小时前
机器学习介绍
人工智能·python·机器学习·scikit-learn·安全威胁分析
uhakadotcom1 小时前
入门教程:如何编写一个chrome浏览器插件(以jobleap.cn收藏夹为例)
前端·javascript·面试
☆璇1 小时前
【Linux】进程概念(下)
linux·运维·服务器