有道词典网页版接口分析与爬虫研究

说明:仅供学习使用,请勿用于非法用途,若有侵权,请联系博主删除

作者:zhu6201976

一、目标站点

有道词典网页版:网易有道

二、目标接口

url:https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4

method:POST

formdata:

如图所示,需要解决参数sign、t的算法逆向,难度:中

三、部分样例代码

1. sign、t参数生成逻辑

python 复制代码
    def generate_sign_t(q, w):
        """
        sign/t 生成
        :params q: 搜索词
        :params w: 网页中获取
        return: sign, t
        """
        time_ = len(f'{q}webdict') % 10
        r = f'{q}webdict'
        o = hashlib.md5(r.encode('utf-8')).hexdigest()
        n = f'web{q}{time_}{w}{o}'
        f = hashlib.md5(n.encode('utf-8')).hexdigest()
        return f, time_

2. 搜索接口请求构造

python 复制代码
            url = f'{self.root_url}/jsonapi_s?doctype=json&jsonversion=4'
            headers = {
                'Content-Type': 'application/x-www-form-urlencoded',
                'Referer': 'https://www.youdao.com/',
            }
            sign, t = self.generate_sign_t(q)
            data = {
                'q': q,
                'le': 'en',
                't': f'{t}',
                'client': 'web',
                'sign': f'{sign}',
                'keyfrom': 'webdict'
            }
            yield scrapy.FormRequest(url, headers=headers, formdata=data, method='POST', callback=self.parse)
相关推荐
csdn_aspnet6 分钟前
在 React 中使用 WebSockets 构建实时聊天应用程序
javascript·react.js·node.js
【ql君】qlexcel30 分钟前
Notepad++ 复制宏、编辑宏的方法
开发语言·javascript·notepad++··宏编辑·宏复制
MiyueFE30 分钟前
14 个逻辑驱动的 UI 设计技巧,助您改善任何界面
前端·设计
啃火龙果的兔子34 分钟前
前端单元测试覆盖率工具有哪些,分别有什么优缺点
前端·单元测试
「、皓子~1 小时前
后台管理系统的诞生 - 利用AI 1天完成整个后台管理系统的微服务后端+前端
前端·人工智能·微服务·小程序·go·ai编程·ai写作
就改了1 小时前
Ajax——在OA系统提升性能的局部刷新
前端·javascript·ajax
凌冰_1 小时前
Ajax 入门
前端·javascript·ajax
京东零售技术1 小时前
京东小程序JS API仓颉改造实践
前端
奋飛2 小时前
TypeScript系列:第六篇 - 编写高质量的TS类型
javascript·typescript·ts·declare·.d.ts
老A技术联盟2 小时前
从小白入门,基于Cursor开发一个前端小程序之Cursor 编程实践与案例分析
前端·小程序