接口(集成)平台设计(一)-服务,接口,数据集和数据源

简介

接口中台为消费者应用(数据需求)和数据提供者集成提供一站式的服务,是系统间的数据枢纽,支持各种数据源,可视化构建数据集,可视化编排接口,发布服务,0代码实现系统间数据交换。

本文解释接口平台架构设计

规划和特性

1 数据源和连接器

2 接口,数据集,数据集构建器

3 服务,编排

4 执行架构

还有授权,可观测和监控

术语/关键词

连接器 提供各种适配器,用于连接不同的提供者(如数据库、HTTP API、FTP服务器、消息队列等),是平台的基础能力

数据集 定义返回什么数据,如,数据库的sql,可设置参数,定制化返回的数据

接口 数据集的出入口,其自身是可调用服务

编排 组合协调接口,数据管道,输出预期数据

服务 编排的执行体

参考资料

逻辑架构

下图是接口中台的逻辑架构

  • 数据源和连接器

连接器实现数据源的访问协议,连接和通讯,读取和写入

  • 接口和数据集

数据集定义返回的数据,可视化定制;接口是数据集的出入口,但接口不直接对client使用,通过服务输出

  • 服务和编排

编排 组合接口,搭建数据处理管道,获取期望的数据

服务 输出编排接口

技术架构

本节介绍接口平台的技术架构,介绍平台运行逻辑,实现高可用,高吞吐(百万QPS),大容量(百万接口),高伸缩等架构要求

上图是技术架构图

管理侧

首先看管理侧,负责构建接口和数据集,服务编排,在线测试服务(pipeline)和接口,服务发布

  • 构建接口

业务人员(操作员)新增接口,通过数据源对应的构建器,构建数据集

  • 编排和发布服务

业务人员编排接口,形成数据管道(pipeline),发布,消费者可以调用服务获取/写入数据。

业务人员发布服务,推到发布桶,执行目录和索引同步新增服务

执行侧

服务发布后,消费者调用服务,接口服务网关(ISG)接收请求,

  1. ++执行目录和索引++ 查找合适的++执行器++, 轮询,随机,负载最少等策略
  2. 推送请求到选定的++执行器++ ,++执行器++执行任务,任务预解释到缓存,执行器快速执行
  3. ++分布式协调器++ (zookeeper)发现++执行器++下线,重新分配下线执行器的调用请求,调用的断点执行,幂等性服务负责

综述,执行器的上下线发现,调用重分配保证调用执行高可用;执行器的注册机制提供高伸缩;执行器选择,服务执行图缓存提供高吞吐,大容量支撑

数据源和连接器

上图是数据源设计类,万物皆数据,只要给连接器

数据源/ 连接器 数据源和连接器是配套

连接器提供数据源通讯,连接功能,实现读写的协议,常用的数据源有数据库,文件,rest服务等,连接器根据协议类型提供统一的读写,如,数据库-jdbc,文件-oss

数据集依赖连接器,构建数据操作视图

接口和数据集

上图是接口和数据集的设计类,

数据集统一接口读写数据源接口,提供大粒度面向业务的api,定制化的数据;支持多数据源融合,引入flink,多数据源通常时长在分钟级

数据集构建器 数据集构建器提供可视化构建数据集的能力,每种类型对应构建器

接口接口是数据集的出入口,核心是配置数据集,下图是接口的属性设置

异步接口 一些接口执行时间比较久,例如,多数据源的融合,分钟级别,异步接口支持事件驱动,长时间接口完成后,通知服务继续流水线。

服务和编排

上图是服务和编排的设计类

编排/ 拓扑 组合接口,合成需要的数据,直接面向应用业务;拓扑有链状和图状,链状较简单,数据一个接一个地通过各节点(接口);图状拓扑需要合并和分叉的处理节点,对数据合流和分流。

服务 服务是可调用的实体,设置执行要素,包括url,负载均衡

转换器 转换器负责格式的转换(json/xml),字段的映射对照,使用规则引擎,映射和转换接口的输入和输出,以适应消费者的需要

相关推荐
踩着两条虫2 小时前
VTJ.PRO v2.4.2 私有化部署与升级实操指南
前端·人工智能·低代码·架构·数据挖掘
RestCloud5 小时前
零售案例|从MuleSoft到RestCloud iPaaS,重构跨国多源数据集成体系
数据传输·ipaas·mulesoft·api治理·多源异构·集成平台·零售案例
树上有只程序猿18 小时前
主流低代码管理平台深度解析(最新)
人工智能·低代码·软件开发·软件需求
搭贝1 天前
如何用低代码平台搭建智能商机跟进系统——搭贝实战
低代码
Jeking2172 天前
低代码平台 表单设计器 unione form editor 功能组件 —— 悬浮按钮组件
低代码·动态表单·表单设计·表单引擎·unione cloud
2501_912784083 天前
跨境多语种页面适配方案:低代码SaaS落地实测
低代码
Jeking2173 天前
实战案例|快捷键盘组件在仓库 PDA 入库表单中的落地应用
低代码·动态表单·表单设计·表单引擎·unione cloud
Jeking2173 天前
低代码平台 unione form editor 功能组件 —— 快捷键盘组件
低代码·动态表单·表单设计·表单引擎·unione cloud
lianyinghhh4 天前
FlowGame 从零上手:开源 AI 工作流编排框架与 Vue 3 接入实战
python·低代码·开源·vue·rag·flowgame·ai工作流编排
搭贝4 天前
如何用低代码平台搭建企业级合同审查系统——搭贝实战
低代码