Selenium + Django + Echarts 实现亚马逊商品数据可视化爬虫项目

最近完成了1个爬虫项目,记录一下自己的心得。

项目功能简介

根据用户输入商品名称、类别名称,使用Selenium, BS4等技术每天定时抓取亚马逊商品数据,使用Pandas进行数据清洗后保存在MySql数据库中.

使用Django提供用户端功能,显示商品数据,以可视化的方式分析数据,以及数据抓取任务管理等。

项目技术难点:

1)亚马逊Anti-scrape 措施较多,页面都是动态网页,因此,页面元素分析,javascript分析工作量占据大部分时间。

2)性能优化,执行任务采用异步,多进程方式运行,提供定时任务管理功能。

3)Django模板中添加Echarts Javascript 脚本进行图表绘制,自定义 filter form 提供数据。 由于时间短,未使用Vue方式。

4)保持项目的扩展性:通过爬虫任务管理器满足用户的各类搜索需求。数据库分为原始数据以及清洗数据,中间的cleaning类可以随时扩展,

5)通用绘图接口功能: 由于绘图是通过模板中的javascript脚本完成,计划另写1套通用接口,将数据、绘图类型以参数方式传入,再向django 模板插入echarts绘图脚本,

合作说明

亚马孙的商品页面依据类别、用户所在地、收货地等不同而有所不同,但毕竟是大公司产品,其页面组织是规范的,因此本项目也很容易扩展。 如有对亚马逊数据分析的合作需求,留私信留言。

相关推荐
程序员的世界你不懂3 小时前
基于Java+Maven+Testng+Selenium+Log4j+Allure+Jenkins搭建一个WebUI自动化框架(2)对框架加入业务逻辑层
java·selenium·maven
打酱油的;4 小时前
爬虫-request处理get
爬虫·python·django
程序员的世界你不懂5 小时前
基于Java+Maven+Testng+Selenium+Log4j+Allure+Jenkins搭建一个WebUI自动化框架(4)集成Allure报表
java·selenium·maven
PythonicCC9 小时前
Django核心知识点详解:JSON、AJAX、Cookie、Session与用户认证
ajax·django·json
小王子102410 小时前
Django+DRF 实战:自定义异常处理流程
后端·django·web开发
zhaocarbon14 小时前
vue2 echarts中国地图、在地图上标注经纬度及标注点
前端·javascript·echarts
程序设计实验室15 小时前
在 django-ninja 中实现类似腾讯阿里云的应用鉴权机制
django·djangostarter
白白李媛媛17 小时前
vue3中实现echarts打印功能
前端·vue.js·echarts