大数据相关知识||电商大数据相关参数和返回||主流电商平台大数据采集

主流电商大数据:

公共参数

名称 类型 必须 描述
key String 调用key(免费测试)
secret String 调用密钥
api_name String API接口名称(包括在请求地址中)[item_search,item_get,item_search_shop等]
cache String [yes,no]默认yes,将调用缓存的数据,速度比较快
result_type String [json,jsonu,xml,serialize,var_export]返回数据格式,默认为json,jsonu输出的内容中文可以直接阅读
lang String [cn,en,ru]翻译语言,默认cn简体中文
version String API版本

请求参数

请求参数:num_iid=652874751412&is_promotion=1

参数说明:num_iid:淘宝商品ID

is_promotion:是否获取取促销价

响应参数

Version: Date:2022-04-04

名称 类型 必须 示例值 描述
item item[] 1 宝贝详情数据

电商大数据文档:

  1. 参数说明

    • 通用参数说明

      • 参数不要乱传,否则不管成功失败都会扣费
      • url说明 https://api-gw..cn/平台/API类型/ 平台:淘宝,京东等, API类型:[item_search,item_get,item_search_shop等]
      • version:API版本
      • key:调用key,测试key:test_api_key
      • secret:调用secret,测试secret:(不用填写)
      • cache:[yes,no]默认yes,将调用缓存的数据,速度比较快
      • result_type:[json,xml,serialize,var_export]返回数据格式,默认为json
      • lang:[cn,en,ru] 翻译语言,默认cn简体中文
      • secret:密钥
    • API:item_search 参数说明:

      • q:搜索关键字
      • cat:分类ID
      • start_price:开始价格
      • end_price:结束价格
      • sort:排序[bid,bid,bid2,_bid2,_sale,_credit]
        (bid:总价,bid2:商品价格,sale:销量,credit信用,加
        前缀为从大到小排序)
      • page:页数
      • page_size:每页宝贝数量,默认40
      • seller_info:是否获取商家信息[yes,no],默认yes
    • API:item_get 参数说明: num_iid:宝贝ID

  2. 此API目前支持以下基本接口:

    • item_get 获得淘宝商品详情
    • item_get_pro 获得淘宝商品详情高级版
    • item_review 获得淘宝商品评论
    • item_fee 获得淘宝商品快递费用
    • item_password 获得淘口令真实url
    • item_list_updown 批量获得淘宝商品上下架时间
    • seller_info 获得淘宝店铺详情
    • item_search 按关键字搜索淘宝商品
    • item_search_tmall 按关键字搜索天猫商品
    • item_search_pro 高级关键字搜索淘宝商品
    • item_search_img 按图搜索淘宝商品(拍立淘)
    • item_search_shop 获得店铺的所有商品
    • item_search_seller 搜索店铺列表
    • item_search_guang 爱逛街
    • item_search_suggest 获得搜索词推荐
    • item_search_jupage 天天特价
    • item_search_coupon 优惠券查询
    • cat_get 获得淘宝分类详情
    • item_cat_get 获得淘宝商品类目
    • item_search_samestyle 搜索同款的商品
    • item_search_similar 搜索相似的商品
    • item_sku 获取sku详细信息
    • item_recommend 获取推荐商品列表
    • brand_cat 获取品牌分类列表
    • brand_cat_top 获取分类推荐品牌列表
    • brand_cat_list 得到指定分类的品牌列表
    • brand_keyword_list 得到指定关键词的品牌列表
    • brand_info 得到品牌相关信息
    • brand_product_list 得到指定品牌的产品
    • custom 自定义API操作
    • buyer_cart_add 添加到购物车
    • buyer_cart_remove 删除购物车商品
    • buyer_cart_clear 清空购物车
    • buyer_cart_list 获取购物车的商品列表
    • buyer_cart_order 将购物车商品保存为订单
    • buyer_order_list 获取购买到的商品订单列表
    • buyer_order_detail 获取购买到的商品订单详情
    • buyer_order_express 获取购买到的商品订单物流
    • buyer_order_message 获取购买到的订单买家留言
    • buyer_address_list 收货地址列表
    • buyer_address_clear 清除收货地址
    • buyer_address_remove 删除收货地址
    • buyer_address_modify 修改收货地址
    • buyer_address_add 添加收货地址
    • buyer_info 买家信息
    • buyer_token 买家token
    • seller_order_list 获取卖出的商品订单列表
    • seller_order_detail 获取卖出的商品订单详情
    • seller_order_close 卖家关闭一笔交易
    • seller_order_message 获取或修改卖出去的订单备注
    • seller_auction_list 商品可上下架商品列表
    • seller_auction 商品上下架
    • seller_item_add 商品上传
    • upload_img 上传图片到淘宝
    • img2text 图片识别商品接口
    • tbk_order_query 淘宝客订单查询
    • item_list_weight 批量获取商品信息
    • item_history_price 获取商品历史价格信息
    • item_get_app 获得淘宝app商品详情原数据

hadoop生态圈

HDFS的主要功能和作用包括:

1、分布式存储:HDFS将大量的数据文件分布式地存储在Hadoop集群中的多个机器上。数据被分割成块并复制到多个节点上,提供了可靠性和容错性,防止数据丢失。

2、高可靠性:HDFS通过数据冗余和复制机制来提供高可靠性。每个数据块都会在多个节点上进行复制,如果一个节点失败,数据仍然可以从其他副本中访问。

3、数据流式访问:HDFS支持以流式方式对大规模数据进行访问。它通过一次传输整个数据块的方式,以提高读写数据的效率。

4、扩展性:HDFS具有良好的可扩展性,可以容纳非常大的数据集。它可以在集群中添加新的机器,以同时扩展存储容量和计算能力。5、数据局部性:HDFS通过尽量将数据存储在离计算节点近的位置来提高数据访问的效率。这样可以减少网络传输的开销,提高数据处理的性能。

HBase:HBase是一种分布式、可扩展的面向列的NoSQL数据库,它基于Hadoop的HDFS和ZooKeeper来提供可靠的、高性能的数据存储和实时读写访问。HBase的功能和作用包括:

1、面向列的存储:HBase采用面向列的存储方式,数据被组织成表,每个表由行和列族组成。这种存储方式使得HBase能够存储和处理非结构化和半结构化的数据。

2、高可扩展性:HBase能够在大规模数据集上进行水平扩展。它可以在大量的服务器节点上进行数据存储和处理,以满足日益增长的数据量和访问需求。

3、高性能的读写访问:HBase的存储引擎使用了基于内存的索引结构(B+树),能够提供高速的读写访问性能。此外,HBase支持数据缓存、批处理操作和并行处理,进一步提高了数据的访问效率。

4、数据一致性:HBase通过ZooKeeper来提供数据的一致性。ZooKeeper是一个分布式协调服务保数据的一致性和可靠性。

5、实时查询:HBase支持基于行键的随机访问和范围扫描,可以快速检索和查询数据。它还支持多版本数据,可以存储和检索历史数据,适用于时间序列数据和实时分析。

6、强一致性:HBase支持强一致性,即对于相同的数据操作请求,返回的结果是一致的。这对于需要保持数据一致性的应用场景非常重要,例如金融和电子商务领域。

相关推荐
YesPMP平台官方2 分钟前
AI+教育|拥抱AI智能科技,让课堂更生动高效
人工智能·科技·ai·数据分析·软件开发·教育
Data-Miner2 分钟前
196页满分PPT | 集团流程优化及IT规划项目案例
大数据·数据分析
徐*红5 分钟前
Elasticsearch 8.+ 版本查询方式
大数据·elasticsearch
kinlon.liu5 分钟前
零信任安全架构--持续验证
java·安全·安全架构·mfa·持续验证
DolphinScheduler社区18 分钟前
怎么办?用DolphinScheduler调度执行复杂的HiveSQL时无法正确识别符号
大数据
goTsHgo20 分钟前
Hive自定义函数——简单使用
大数据·hive·hadoop
鸽芷咕21 分钟前
【Python报错已解决】ModuleNotFoundError: No module named ‘paddle‘
开发语言·python·机器学习·bug·paddle
码爸22 分钟前
flink 例子(scala)
大数据·elasticsearch·flink·scala
FLGB22 分钟前
Flink 与 Kubernetes (K8s)、YARN 和 Mesos集成对比
大数据·flink·kubernetes
码爸24 分钟前
flink 批量压缩redis集群 sink
大数据·redis·flink