电商API接口数据采集||爬取京东和淘宝的商品数据进行可视化数据分析

项目背景:

系统主要是通过爬取京东和淘宝的的商品数据进行分析。爬虫python脚本通过打开浏览器授权登录后按照搜索"手机"关键字后出现的商品列表进行爬取,获取标题名,解析付款人数,品牌,评论人数,发货地,包邮等标签,通过发货地和高德API获取经纬度,然后将数据入库,为后续可视化页面做铺垫。可视化页面主要是通过bootstarp+Echarts+JQuery构造;后端采用了flask框架编写接口。页面功能包括首页可视化展示,京东数据源列表管理,淘宝数据源管理,可视化大屏(可以切换数据源),手机推荐(按照用户输入进行推荐)

"基于大数据的手机销售数据分析可视化系统"。该系统主要包括以下核心组成部分和功能:

数据获取阶段:

电商数据API接口使用Python编写的网络爬虫脚本,针对京东和淘宝电商平台进行数据抓取。

爬虫通过模拟浏览器进行授权登录操作,针对关键词"手机"搜索结果的商品列表进行数据采集。

抓取的数据包含商品标题、付款人数、品牌信息、评论人数、发货地以及是否包邮等关键指标。

通过调用高德地图API,将文本形式的发货地转换为经纬度坐标,以丰富地理位置信息。

数据存储阶段:

收集到的原始数据经过处理后被整合入库,准备用于后续的数据分析和可视化展示。

后端架构与数据接口:

采用Flask作为后端开发框架,构建了一系列API接口,用于管理和提供前端所需的数据服务。

前端可视化页面:

页面布局和样式采用Bootstrap进行构建,确保响应式和美观性。

数据可视化部分运用Echarts图表库,动态展示手机销售的各种统计分析结果。

利用JQuery增强页面交互效果,实现在可视化大屏上切换不同数据源(京东或淘宝)的功能。

页面功能模块包括:首页综合可视化展示、京东和淘宝各自的数据源列表管理、手机销售推荐功能,可以根据用户输入的条件进行个性化推荐。

整个系统旨在通过对电商平台的大数据进行深度挖掘和直观展示,为用户提供有价值的市场洞察和购买建议。

京东按关键字搜索商品 API 返回值说明

item_search-按关键字搜索商品 API测试注册

公共参数

名称 类型 必须 描述
key String 调用key(必须以GET方式拼接在URL中)
secret String 调用密钥
api_name String API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cache String [yes,no]默认yes,将调用缓存的数据,速度比较快
result_type String [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
lang String [cn,en,ru]翻译语言,默认cn简体中文
version String API版本

请求参数

请求参数:q=女装&start_price=0&end_price=0&page=1&cat=0&discount_only=&sort=&seller_info=no&nick=&seller_info=&nick=&ppath=&imgid=&filter=

参数说明:q:搜索关键字

sort:排序[bid,_bid,_sale,_review,_new]

(bid:总价,sale:销量,review评论数,new新品,加_前缀为从大到小排序)<

page:

响应参数

Version: Date:

名称 类型 必须 示例值 描述
items items[] 0 按关键字搜索商品

接口类型:

  1. 此API目前支持以下基本接口:

    • item_get 获得淘宝商品详情
    • item_get_pro 获得淘宝商品详情高级版
    • item_review 获得淘宝商品评论
    • item_fee 获得淘宝商品快递费用
    • item_password 获得淘口令真实url
    • item_list_updown 批量获得淘宝商品上下架时间
    • seller_info 获得淘宝店铺详情
    • item_search 按关键字搜索淘宝商品
    • item_search_tmall 按关键字搜索天猫商品
    • item_search_pro 高级关键字搜索淘宝商品
    • item_search_img 按图搜索淘宝商品(拍立淘)
    • item_search_shop 获得店铺的所有商品
    • item_search_seller 搜索店铺列表
    • item_search_guang 爱逛街
    • item_search_suggest 获得搜索词推荐
    • item_search_jupage 天天特价
    • item_search_coupon 优惠券查询
    • cat_get 获得淘宝分类详情
    • item_cat_get 获得淘宝商品类目
    • item_search_samestyle 搜索同款的商品
    • item_search_similar 搜索相似的商品
    • item_sku 获取sku详细信息
    • item_recommend 获取推荐商品列表
    • brand_cat 获取品牌分类列表
    • brand_cat_top 获取分类推荐品牌列表
    • brand_cat_list 得到指定分类的品牌列表
    • brand_keyword_list 得到指定关键词的品牌列表
    • brand_info 得到品牌相关信息
    • brand_product_list 得到指定品牌的产品
    • custom 自定义API操作
    • buyer_cart_add 添加到购物车
    • buyer_cart_remove 删除购物车商品
    • buyer_cart_clear 清空购物车
    • buyer_cart_list 获取购物车的商品列表
    • buyer_cart_order 将购物车商品保存为订单
    • buyer_order_list 获取购买到的商品订单列表
    • buyer_order_detail 获取购买到的商品订单详情
    • buyer_order_express 获取购买到的商品订单物流
    • buyer_order_message 获取购买到的订单买家留言
    • buyer_address_list 收货地址列表
    • buyer_address_clear 清除收货地址
    • buyer_address_remove 删除收货地址
    • buyer_address_modify 修改收货地址
    • buyer_address_add 添加收货地址
    • buyer_info 买家信息
    • buyer_token 买家token
    • seller_order_list 获取卖出的商品订单列表
    • seller_order_detail 获取卖出的商品订单详情
    • seller_order_close 卖家关闭一笔交易
    • seller_order_message 获取或修改卖出去的订单备注
    • seller_auction_list 商品可上下架商品列表
    • seller_auction 商品上下架
    • seller_item_add 商品上传
    • upload_img 上传图片到淘宝
    • img2text 图片识别商品接口
    • tbk_order_query 淘宝客订单查询
    • item_list_weight 批量获取商品信息
    • item_history_price 获取商品历史价格信息
    • item_get_app 获得淘宝app商品详情原数据
相关推荐
___Dream几秒前
【CTFN】基于耦合翻译融合网络的多模态情感分析的层次学习
人工智能·深度学习·机器学习·transformer·人机交互
Open-AI4 分钟前
Python如何判断一个数是几位数
python
极客代码8 分钟前
【Python TensorFlow】入门到精通
开发语言·人工智能·python·深度学习·tensorflow
义小深10 分钟前
TensorFlow|咖啡豆识别
人工智能·python·tensorflow
疯一样的码农14 分钟前
Python 正则表达式(RegEx)
开发语言·python·正则表达式
代码之光_198015 分钟前
保障性住房管理:SpringBoot技术优势分析
java·spring boot·后端
ajsbxi21 分钟前
苍穹外卖学习记录
java·笔记·后端·学习·nginx·spring·servlet
StayInLove39 分钟前
G1垃圾回收器日志详解
java·开发语言
对许43 分钟前
SLF4J: Failed to load class “org.slf4j.impl.StaticLoggerBinder“
java·log4j
lzhlizihang1 小时前
【Hive sql 面试题】求出各类型专利top 10申请人,以及对应的专利申请数(难)
大数据·hive·sql·面试题