如何抓取某音视频的互动数据

如何抓取某音视频的互动数据

闲来无事琢磨了一下某音的视频数据抓取,发现通过链接就能提取点赞、评论、收藏这些互动数据。分享给有同样兴趣的朋友,说不定能帮你省点时间。

具体实现方法

  1. 获取视频链接 随便找个某音视频,复制它的分享链接。注意要完整的链接,不能是那种简化过的短链接。

  2. 提取视频ID 链接里有一串特殊的字符就是视频ID,用正则表达式或者字符串处理方法把它单独提取出来。

  3. 构造API请求 观察平台的数据请求规律,构造一个能获取视频详情的请求。需要设置合适的请求头和参数。

  4. 解析返回数据 拿到返回的JSON数据后,找到点赞数、评论数和收藏数对应的字段。这些字段可能会变,需要定期检查更新。

    python 复制代码
     # 监听数据包
            try:
                driver.listen.start('aweme/v1/web/aweme/detail/')
            except Exception as e:
                print(f"启动监听时发生错误: {e}")
                return None
    
            # 访问网站
            try:
                driver.get(video_url)
            except Exception as e:
                print(f"访问网页时发生错误: {e}")
                return None
    
            # 定义一个变量来存储响应数据
            json_data = None
    
            # 定义一个事件来通知主线程数据包已接收
            data_received = threading.Event()
            stop_event = threading.Event()  # 新增:用于通知子线程停止运行
    
            def listen_for_response():
                nonlocal json_data
                try:
                    while not stop_event.is_set():  # 检查是否需要停止
                        resp = driver.listen.wait(timeout=wait_time)  # 使用从EVN中导入的wait_time
                        if resp:
                            json_data = resp.response.body
                            data_received.set()
                            break  # 收到数据后退出循环
                except Exception as e:
                    print(f"监听数据包时发生错误: {e}")
                    EimsErrorMessage.add_interaction_error_log(link_address, 'video类型视频,监听接口失败', public_ip)
                finally:
                    stop_event.set()  # 确保最终设置停止标志

注意事项

  • 请求频率别太高,容易被封
  • 数据字段可能会变,需要及时调整
  • 仅供学习交流,别用于商业用途
  • 只提供部分主要功能点代码,如需完整的,请私信

这个小小的探索还挺有意思的,虽然没什么实际用途,但能一窥平台的数据结构也是种乐趣。有兴趣的话可以自己试试看,说不定能发现更有意思的东西。

相关推荐
吃我一窝jio2 小时前
Python与Go线程模型深度对比
java·开发语言·python
zwd20052 小时前
Manim 怎么放大画面的某一部分?
python·动画·可视化·manim·数学动画
屿华AI3 小时前
AUTOSAR 实战-诊断工具 | UDS 0x27 安全访问的配置化实现:种子密钥算法插件化设计
python·测试工具·汽车
RobinDevNotes3 小时前
Claude Code 剪视频,不上传、不要 API Key
人工智能·python·音视频·开发工具·ipython
如夏倾城5 小时前
VRRP(虚拟路由器冗余协议Virtual Router Redundancy Protocol)
网络·python·网络协议·安全·智能路由器·负载均衡·信息与通信
IvanCodes5 小时前
LangChain(04):Runnable 与 LCEL 的执行与组合机制
python·langchain·agent
特创数字科技5 小时前
纯本地离线运行的文档脱敏工具(技术分享)
前端·驱动开发·python
东莞市云毅网络有限公司7 小时前
用 Playwright 搭一套问答平台引用监测的最小骨架
python·数据清洗·rag·企业知识库·文档解析
Thanks_ks7 小时前
【第 010 讲】全面掌握 Python 变量与常量:变量的定义与赋值 | 标识符与命名规范 | 变量的底层机制 | 常量与魔术数字
python·内存·变量·标识符·常量·赋值·命名规范
飞Link7 小时前
灵巧手是什么?从机械结构、驱动方式到控制原理,认识机器人的精细操作能力
人工智能·python·机器人