scrapy post请求——百度翻译(十四)

scrapy处理 post 请求

爬取百度翻译界面

目录

1.创建项目及爬虫文件

2.发送post请求


1.创建项目及爬虫文件

scrapy startproject scrapy_104

scrapy genspider translate fanyi.baidu.com

2.发送请求

post请求需要传递参数,所以就不能用start_urls和parse函数了,这里使用start_requests函数给url添加参数。

python 复制代码
class TranslateSpider(scrapy.Spider):
    name = 'translate'
    allowed_domains = ['fanyi.baidu.com']
    # start_urls = ['http://fanyi.baidu.com/']

    def start_requests(self):
        url = 'http://fanyi.baidu.com/sug'

        data = {
            'kw':'spider'
        }

        yield scrapy.FormRequest(url=url, formdata=data,callback=self.parse_second)

    def parse_second(self, response):
        content = response.text
        # print(content)  # 存在编码问题
        obj = json.loads(content,encoding='utf-8')
        print(obj)

这样就获取到了

相关推荐
深蓝电商API6 天前
将爬虫部署到服务器:Scrapy+Scrapyd 实现定时任务与监控
服务器·爬虫·scrapy
数据牧羊人的成长笔记6 天前
python爬虫scrapy框架使用
爬虫·python·scrapy
MongoVIP8 天前
Scrapy爬虫实战:正则高效解析豆瓣电影
python·scrapy
深蓝电商API9 天前
Scrapy 框架深度解析:架构、组件与工作流程
scrapy·架构
深蓝电商API10 天前
Scrapy 中间件详解:自定义下载器与爬虫的 “拦截器”
爬虫·scrapy·中间件
计算机毕设残哥11 天前
基于Hadoop+Spark的人体体能数据分析与可视化系统开源实现
大数据·hadoop·python·scrapy·数据分析·spark·dash
计算机毕设残哥13 天前
基于Hadoop+Spark的商店购物趋势分析与可视化系统技术实现
大数据·hadoop·python·scrapy·spark·django·dash
万粉变现经纪人19 天前
如何解决 pip install 安装报错 ModuleNotFoundError: No module named ‘tokenizers’ 问题
python·selenium·测试工具·scrapy·beautifulsoup·fastapi·pip
B站_计算机毕业设计之家21 天前
✅ 基于Scrapy与朴素贝叶斯的校园舆情监测与预警系统 Django+B/S架构 可视化大屏 机器学习
python·scrapy·架构·数据分析·django·情感分析·舆情分析
万粉变现经纪人1 个月前
如何解决pip安装报错ModuleNotFoundError: No module named ‘cuml’问题
python·scrapy·beautifulsoup·pandas·ai编程·pip·scipy