大数据相关知识||电商大数据相关参数和返回||主流电商平台大数据采集

主流电商大数据:

公共参数

名称 类型 必须 描述
key String 调用key(免费测试)
secret String 调用密钥
api_name String API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cache String [yes,no]默认yes,将调用缓存的数据,速度比较快
result_type String [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
lang String [cn,en,ru]翻译语言,默认cn简体中文
version String API版本

请求参数

请求参数:num_iid=652874751412&is_promotion=1

参数说明:num_iid:淘宝商品ID

is_promotion:是否获取取促销价

响应参数

Version: Date:2022-04-04

名称 类型 必须 示例值 描述
item item[] 1 宝贝详情数据

电商大数据文档:

  1. 参数说明

    • 通用参数说明

      • 参数不要乱传,否则不管成功失败都会扣费
      • url说明 https://api-gw..cn/平台/API类型/ 平台:淘宝,京东等, API类型:[item_search,item_get,item_search_shop等]
      • version:API版本
      • key:调用key,测试key:test_api_key
      • secret:调用secret,测试secret:(不用填写)
      • cache:[yes,no]默认yes,将调用缓存的数据,速度比较快
      • result_type:[json,xml,serialize,var_export]返回数据格式,默认为json
      • lang:[cn,en,ru] 翻译语言,默认cn简体中文
      • secret:密钥
    • API:item_search 参数说明:

      • q:搜索关键字
      • cat:分类ID
      • start_price:开始价格
      • end_price:结束价格
      • sort:排序[bid,bid,bid2,_bid2,_sale,_credit]
        (bid:总价,bid2:商品价格,sale:销量,credit信用,加
        前缀为从大到小排序)
      • page:页数
      • page_size:每页宝贝数量,默认40
      • seller_info:是否获取商家信息[yes,no],默认yes
    • API:item_get 参数说明: num_iid:宝贝ID

  2. 此API目前支持以下基本接口:

    • item_get 获得淘宝商品详情
    • item_get_pro 获得淘宝商品详情高级版
    • item_review 获得淘宝商品评论
    • item_fee 获得淘宝商品快递费用
    • item_password 获得淘口令真实url
    • item_list_updown 批量获得淘宝商品上下架时间
    • seller_info 获得淘宝店铺详情
    • item_search 按关键字搜索淘宝商品
    • item_search_tmall 按关键字搜索天猫商品
    • item_search_pro 高级关键字搜索淘宝商品
    • item_search_img 按图搜索淘宝商品(拍立淘)
    • item_search_shop 获得店铺的所有商品
    • item_search_seller 搜索店铺列表
    • item_search_guang 爱逛街
    • item_search_suggest 获得搜索词推荐
    • item_search_jupage 天天特价
    • item_search_coupon 优惠券查询
    • cat_get 获得淘宝分类详情
    • item_cat_get 获得淘宝商品类目
    • item_search_samestyle 搜索同款的商品
    • item_search_similar 搜索相似的商品
    • item_sku 获取sku详细信息
    • item_recommend 获取推荐商品列表
    • brand_cat 获取品牌分类列表
    • brand_cat_top 获取分类推荐品牌列表
    • brand_cat_list 得到指定分类的品牌列表
    • brand_keyword_list 得到指定关键词的品牌列表
    • brand_info 得到品牌相关信息
    • brand_product_list 得到指定品牌的产品
    • custom 自定义API操作
    • buyer_cart_add 添加到购物车
    • buyer_cart_remove 删除购物车商品
    • buyer_cart_clear 清空购物车
    • buyer_cart_list 获取购物车的商品列表
    • buyer_cart_order 将购物车商品保存为订单
    • buyer_order_list 获取购买到的商品订单列表
    • buyer_order_detail 获取购买到的商品订单详情
    • buyer_order_express 获取购买到的商品订单物流
    • buyer_order_message 获取购买到的订单买家留言
    • buyer_address_list 收货地址列表
    • buyer_address_clear 清除收货地址
    • buyer_address_remove 删除收货地址
    • buyer_address_modify 修改收货地址
    • buyer_address_add 添加收货地址
    • buyer_info 买家信息
    • buyer_token 买家token
    • seller_order_list 获取卖出的商品订单列表
    • seller_order_detail 获取卖出的商品订单详情
    • seller_order_close 卖家关闭一笔交易
    • seller_order_message 获取或修改卖出去的订单备注
    • seller_auction_list 商品可上下架商品列表
    • seller_auction 商品上下架
    • seller_item_add 商品上传
    • upload_img 上传图片到淘宝
    • img2text 图片识别商品接口
    • tbk_order_query 淘宝客订单查询
    • item_list_weight 批量获取商品信息
    • item_history_price 获取商品历史价格信息
    • item_get_app 获得淘宝app商品详情原数据

hadoop生态圈

HDFS的主要功能和作用包括:

1、分布式存储:HDFS将大量的数据文件分布式地存储在Hadoop集群中的多个机器上。数据被分割成块并复制到多个节点上,提供了可靠性和容错性,防止数据丢失。

2、高可靠性:HDFS通过数据冗余和复制机制来提供高可靠性。每个数据块都会在多个节点上进行复制,如果一个节点失败,数据仍然可以从其他副本中访问。

3、数据流式访问:HDFS支持以流式方式对大规模数据进行访问。它通过一次传输整个数据块的方式,以提高读写数据的效率。

4、扩展性:HDFS具有良好的可扩展性,可以容纳非常大的数据集。它可以在集群中添加新的机器,以同时扩展存储容量和计算能力。5、数据局部性:HDFS通过尽量将数据存储在离计算节点近的位置来提高数据访问的效率。这样可以减少网络传输的开销,提高数据处理的性能。

HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库,它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。HBase的功能和作用包括:

1、面向列的存储:HBase采用面向列的存储方式,数据被组织成表,每个表由行和列族组成。这种存储方式使得HBase能够存储和处理非结构化和半结构化的数据。

2、高可扩展性:HBase能够在大规模数据集上进行水平扩展。它可以在大量的服务器节点上进行数据存储和处理,以满足日益增长的数据量和访问需求。

3、高性能的读写访问:HBase的存储引擎使用了基于内存的索引结构(B+树),能够提供高速的读写访问性能。此外,HBase支持数据缓存、批处理操作和并行处理,进一步提高了数据的访问效率。

4、数据一致性:HBase通过ZooKeeper来提供数据的一致性。ZooKeeper是一个分布式协调服务保数据的一致性和可靠性。

5、实时查询:HBase支持基于行键的随机访问和范围扫描,可以快速检索和查询数据。它还支持多版本数据,可以存储和检索历史数据,适用于时间序列数据和实时分析。

6、强一致性:HBase支持强一致性,即对于相同的数据操作请求,返回的结果是一致的。这对于需要保持数据一致性的应用场景非常重要,例如金融和电子商务领域。

相关推荐
蜡笔小新星43 分钟前
Flask项目框架
开发语言·前端·经验分享·后端·python·学习·flask
IT猿手44 分钟前
2025最新群智能优化算法:海市蜃楼搜索优化(Mirage Search Optimization, MSO)算法求解23个经典函数测试集,MATLAB
开发语言·人工智能·算法·机器学习·matlab·机器人
夏天的味道٥4 小时前
使用 Java 执行 SQL 语句和存储过程
java·开发语言·sql
IT、木易5 小时前
大白话JavaScript实现一个函数,将字符串中的每个单词首字母大写。
开发语言·前端·javascript·ecmascript
24k小善5 小时前
flink集成tidb cdc
大数据·flink·tidb
冰糖码奇朵5 小时前
大数据表高效导入导出解决方案,mysql数据库LOAD DATA命令和INTO OUTFILE命令详解
java·数据库·sql·mysql
好教员好5 小时前
【Spring】整合【SpringMVC】
java·spring
Mr.NickJJ6 小时前
JavaScript系列06-深入理解 JavaScript 事件系统:从原生事件到 React 合成事件
开发语言·javascript·react.js
浪九天6 小时前
Java直通车系列13【Spring MVC】(Spring MVC常用注解)
java·后端·spring