有道词典网页版接口分析与爬虫研究

说明:仅供学习使用,请勿用于非法用途,若有侵权,请联系博主删除

作者:zhu6201976

一、目标站点

有道词典网页版:网易有道

二、目标接口

url:https://dict.youdao.com/jsonapi_s?doctype=json&jsonversion=4

method:POST

formdata:

如图所示,需要解决参数sign、t的算法逆向,难度:中

三、部分样例代码

1. sign、t参数生成逻辑

python 复制代码
    def generate_sign_t(q, w):
        """
        sign/t 生成
        :params q: 搜索词
        :params w: 网页中获取
        return: sign, t
        """
        time_ = len(f'{q}webdict') % 10
        r = f'{q}webdict'
        o = hashlib.md5(r.encode('utf-8')).hexdigest()
        n = f'web{q}{time_}{w}{o}'
        f = hashlib.md5(n.encode('utf-8')).hexdigest()
        return f, time_

2. 搜索接口请求构造

python 复制代码
            url = f'{self.root_url}/jsonapi_s?doctype=json&jsonversion=4'
            headers = {
                'Content-Type': 'application/x-www-form-urlencoded',
                'Referer': 'https://www.youdao.com/',
            }
            sign, t = self.generate_sign_t(q)
            data = {
                'q': q,
                'le': 'en',
                't': f'{t}',
                'client': 'web',
                'sign': f'{sign}',
                'keyfrom': 'webdict'
            }
            yield scrapy.FormRequest(url, headers=headers, formdata=data, method='POST', callback=self.parse)
相关推荐
yinuo14 小时前
一行 CSS 就能搞定!用 writing-mode 轻松实现文字竖排
前端
snow@li15 小时前
html5:拖放 / demo / 拖放事件(Drag Events)/ DataTransfer 对象方法
前端·html·拖放
爱看书的小沐15 小时前
【小沐杂货铺】基于Three.js渲染三维风力发电机(WebGL、vue、react、WindTurbine)
javascript·vue.js·webgl·three.js·opengl·风力发电机·windturbine
qq_3985865415 小时前
Threejs入门学习笔记
javascript·笔记·学习
浪裡遊16 小时前
Nivo图表库全面指南:配置与用法详解
前端·javascript·react.js·node.js·php
課代表16 小时前
JavaScript 二维数组的三种定义与初始化方法
javascript·初始化·二维数组·多维数组·动态数组·循环遍历·数组合并
鸡吃丸子17 小时前
Next.js 入门指南
开发语言·javascript·next.js
罚时大师月色17 小时前
Vue+ts 如何实现父组件和子组件通信
javascript·vue.js·ecmascript
漂流瓶jz17 小时前
快速定位源码问题:SourceMap的生成/使用/文件格式与历史
前端·javascript·前端工程化
samroom17 小时前
iframe实战:跨域通信与安全隔离
前端·安全