有道词典网页版接口分析与爬虫研究

说明:仅供学习使用,请勿用于非法用途,若有侵权,请联系博主删除

作者:zhu6201976

一、目标站点

有道词典网页版:网易有道

二、目标接口

url:https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4

method:POST

formdata:

如图所示,需要解决参数sign、t的算法逆向,难度:中

三、部分样例代码

1. sign、t参数生成逻辑

python 复制代码
    def generate_sign_t(q, w):
        """
        sign/t 生成
        :params q: 搜索词
        :params w: 网页中获取
        return: sign, t
        """
        time_ = len(f'{q}webdict') % 10
        r = f'{q}webdict'
        o = hashlib.md5(r.encode('utf-8')).hexdigest()
        n = f'web{q}{time_}{w}{o}'
        f = hashlib.md5(n.encode('utf-8')).hexdigest()
        return f, time_

2. 搜索接口请求构造

python 复制代码
            url = f'{self.root_url}/jsonapi_s?doctype=json&jsonversion=4'
            headers = {
                'Content-Type': 'application/x-www-form-urlencoded',
                'Referer': 'https://www.youdao.com/',
            }
            sign, t = self.generate_sign_t(q)
            data = {
                'q': q,
                'le': 'en',
                't': f'{t}',
                'client': 'web',
                'sign': f'{sign}',
                'keyfrom': 'webdict'
            }
            yield scrapy.FormRequest(url, headers=headers, formdata=data, method='POST', callback=self.parse)
相关推荐
htzyl20620 小时前
前端样式-弹窗淡入淡出,为什么你的 `transition` 一直不生效
前端·css·html
Brookty20 小时前
CSS基础知识(二):盒模型、内外边距、外边距折叠与父子元素的布局关系
前端·css
十有八七20 小时前
手搓 Agent(四):长点记性——上下文满了怎么办,怎么记住上一次
前端·人工智能·后端
叫个啥呢1 天前
第一次写 DSH 插件:跟着自己的喜好实现个简单的代码管理插件
前端
掘金酱1 天前
AI 带来的新生意|稀土掘金 X-Lab 年度大会招募开启
前端·后端·vibecoding
某哈压力大1 天前
移动端 rem 适配
前端·vue.js·面试
泯泷1 天前
Vercel AI SDK 6 完整教程系列 - 第一部分:基础入门篇
前端·javascript
lcy_241 天前
10 万条数据滚动不卡?聊聊我写的虚拟列表组件 vue-virtualize
前端
zhanlang02171 天前
HTML 零基础入门到企业实战【第七章 7.5】表单验证基础属性:required、maxlength、placeholder
前端·html