python爬虫爬取视频

python爬虫爬取视频

1.导入模块

pip install requests

pip install DrissionPage

注意:项目文件不要放在中文目录下

使用到了自启动谷歌浏览器,记得安装一个谷歌浏览器

DrissionPage是Python第三方模块,可以用

来操作网页、抓取内容、模拟登录、处理JavaScript页面等

2.找到想要爬取的界面

需要注意我标注的地方

需要获取请求头中cookie,referer,user-agent

和响应回来的response中视频的链接地址,我有用黄圈圈出出来

可以看到视频地址在aweme_list下的video下的play_addr下的url_list中3条视频地址都可以用分别对应索引中的0,1,2


版权声明:本文为CSDN博主「摸鱼的泡泡糖」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。

原文链接:https://blog.csdn.net/weixin_56387846/article/details/153113568

3.代码

这里cookie和referer太长,自己打开开发者工具复制就行

爬取视频的主页不同记得换下主页地址就是换Google.get和监听Google.listen.start后的内容

bash 复制代码
import requests
from DrissionPage import ChromiumPage #自动化模块
import re
import os
os.makedirs("video") #创建video目录
headers={
    "cookie":"",
    "referer":"",
    "user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0.0.0 Safari/537.36 Edg/141.0.0.0"
}
Google=ChromiumPage()#自动打开谷歌浏览器
Google.listen.start("aweme/post") #监听要在进入网页前
Google.get("https://www.douyin.com/user/MS4wLjABAAAAgYoK0D4ylp521CQGksm8fCuXosKQqqTMThdChuSzveET2Hdmiy6SmH-eEj9HJX_I?from_tab_name=main&vid=7520453386236349706")#爬取视频的主页
sjb = Google.listen.wait() #等待监听数据包的加载   等待start

JSON = sjb.response.body #获得网页响应数据

data = JSON["aweme_list"]
for i in data:
    v_url = i["video"]["play_addr"]["url_list"][0]#找到视频地址
    title = i["desc"]#获取视频标题
    title_re = re.sub("[<>?/`~_+=.]","",title)#去除标题中多余的符号
    res = requests.get(url=v_url,headers=headers).content
    with open("video\\"+title_re +"video.mp4","wb") as f:
        f.write(res)
        print(title_re)
相关推荐
用户298698530144 分钟前
使用 Python 将 JSON 转换为 Word 文档的实践指南
python·json·api
卷无止境35 分钟前
AI 加速开发之后,如何应对尚未发现的代码安全威胁
后端·python
cpolar技术支持39 分钟前
容器数是 6 个、6 个、还是 6 个,可服务早被换掉了:用一个 5.5MB 的 Go 单文件把机器每周的变化记下来,再给它套一层别人看不懂的入口
python·docker·ai·cpolar
饿了吃洗衣凝珠1 小时前
SELinux
服务器·开发语言·php
蜗牛一步步往上爬1 小时前
第四章 更多的bash shell命令
linux·开发语言·bash
wuyk5551 小时前
Spider-第12讲-asyncio异步并发爬取
大数据·爬虫·elasticsearch·搜索引擎
ONEYAC唯样1 小时前
YXC扬兴科技小型化有源晶振OT4JI-111-24M,提升红外热成像稳定性
人工智能·python·pygame
小宋10211 小时前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
威哥爱编程1 小时前
模拟面试智能体开发实战 09:把面试官装进手机,鸿蒙端聊天界面用 SSE 流式输出让回复逐字滚出来
python·agent·harmonyos
威哥爱编程1 小时前
模拟面试智能体开发实战 10:配置写死在代码里还怎么换服务端,把设置和简历做成界面可配、可存
python·agent·harmonyos