【ROMA核心特性数据、服务、消息、设备集成及统一运维】

1、数据集成

FDI旨在解决多种数据源的快速灵活集成能力,您可以在任意时间、任意地点、任意系统之间实现实时数据订阅和定时增量数据迁移。

(1)数据集成任务的生命周期管理

(2)FDI支持修改数据集成任务的信息、查看数据集成任务的运行报告、查看数据集成任务的运行日志、查看数据集成任务状态,完成数据集成任务的生命周期管理功能。

(1)灵活的数据读写

支持 MySQL、文本文件、消息、API等多种数据的分片读取和写入。定时读数据插件支持 Oracle,MySQL,SqlServer,PostgreSQL,Mongodb,Gauss 200,FI KAFKA,FI Hive,FI HDFS、FTP,MQS、API、LDAP。

(2)实时读插件支持MySQL、MQS、Kafka、FI Kafka。

(3)定时写数据插件支持Oracle、SqlServer、MySQL,MongoDB,Gauss 200,PostgreSQL,FI KAFKA,FI HIVE,FI HDFS,FTP,API,MQS,Redis,Kafka。

(4)实时写插件支持Oracle、SqlServer、MySQL,MongoDB,Gauss 200,PostgreSQL,FI KAFKA,FI HIVE,API, MQS,Redis,Kafka。

(5)如果服务意外中断 ,修复服务之后FDI支持自动修复任务。

(6)支持任务调度、任务监控、任务中断续读。

可靠的数据传输通道

FDI可以持续7*24小时不间断监听数据通道中的数据,支持100个以上的线程并发执行。实时监听消息队列,把数据实时写入目标队列。

灵活调度(定时、实时)

FDI提供全面、灵活、高可用的任务调度服务,支持通过API或以消息方式进行数据集成。按照时间、数据数量等任务触发规则来调度任务。根据任务配置,为插件分配任务,并监控和记录任务的执行状态。

2、服务集成

API Connect主要功能如下:

(1)API开发编排函数API

支持将函数服务以API形式开放使用。通过编写JS代码的方式,对多个服务进行编排和适配,封装为一个新的服务。

(2)数据API

通过编写SQL脚本的方式,将数据库提供的数据服务转换为REST API的能力。

(3)API测试

通过在线测试验证功能,服务开发封装好后,可以直接验证逻辑,快速发现业务契合度的问题,从而减少调测代码的编写,调试时间和人力投入。

(4)数据源管理

对数据源进行创建和修改,API开发通过引用统一创建的数据源,避免每个API单独创建数据连接,减少无价值的重复性工作,当数据源发生变化时,对数据源进行修改即可,从而避免每个API都修改。

(5)便捷的API生命周期管理

帮助您轻松构建、管理和部署任意规模的API,您不仅可以将API快速上线,还能随时回退和下线,确保服务稳定可靠。

(6)多层安全防护

API网关具备SSL传输、安全认证、IP黑白名单控制、请求参数校验、签名防重放攻击、多种审计等安全措施,全方位保护API安全调用。

(7)灵活的策略路由

API网关支持配置不同的后端,按照多种路由策略进行匹配转发。
默认路由 :包含URL、服务域。
策略路由 :通过判断HTTP Header/HTTP Parameter实现不同参数取值访问不同目标,当策略路由满足一定条件的时候(Header、Parameter),跳转到策略路由地址。
均衡路由:目前仅支持 polling策略, Polling对后端服务进行轮询,保证每个服务地址都有同等机会被调用,适用于无状态服务。

(8)流量控制

用于API网关限制对API访问请求量的控制,包含请求次数和访问流量控制,保护后端服务。

流量控制的时间单位可以是分钟、小时或天。

(9)API运行实时监控

提供实时、可视化的API监控,包括:API请求次数、API调用错误信息。

3、消息集成

(1)Topic管理。

支持对消息主题Topic的创建、修改、发布、订阅、查询等管理。

(2)发布订阅管理。

支持对发布、订阅的Topic进行修改、启停、日志、连接信息等配置管理,便于对消息主题的管理和维护。

(3)消息轨迹。

支持追踪消息生产与消费的完整链路信息,获取任一消息的当前状态,为排查生产问题提供有效数据支持。

(4)运维可视化。

支持消息消费进度、连接查询、连接日志、消息统计的可视化,极大提高系统管理员的运维效率,提早发现问题隐患并解决,使得系统运行更加稳定可靠。

(5)消息搬移。

通过路由配置,可将一个ROMA环境中的MQS消息搬移到另一个ROMA环境的MQS中,实现MQS消息跨区域搬移。

4、设备集成

LINK是一个设备集成服务,使用MQTT标准协议连接设备,实现设备快速接入、数据采集等物联网应用。

LINK主要功能如下:
(1)设备接入南向通过MQTT协议接入设备。

第三方厂商可以基于LINK南向提供的Agent SDK接口进行二次开发,将设备接入到LINK平台,并且可以进行设备数据上报,命令响应等操作。

北向应用通过HTTPS协议调用LINK开放的北向API注册设备、获取设备数据、下发命令。设备使用"一机一密"的方式安全接入,每个设备具备唯一的device ID、用户名和密码。LINK提供设备、应用授权认证及Topic的双向绑定授权,保障设备安全与唯一性。

(2)产品管理

提供可视化的产品定义(新增、修改、删除、查询、导入导出等)。

(3)设备管理

包括设备生命周期管理、设备访问授权、设备topic、设备分组、子设备管理、标签管理、设备批量操作、设备影子、设备实时状态监控、设备日志监控等特性。

(4)规则引擎

用户可以在控制台配置规则引擎,实现设备将Topic级别的消息转发到不同的服务中,如消息队列服务MQS和FI KAFKA等。同时支持配置使用类SQL的规则语言对转发的消息进行处理和筛选,满足不同业务对转发数据内容的要求,实现业务逻辑与应用程序的低耦合。

(5)运维可视

提供自助化的运维可视(设备的连接状态、日志信息、概览统计等)和告警机制能力,支撑用户日常的一些关键运维工作,提升设备的可维护性。

(6)数据存储

设备上报的设备在平台内默认存储7天,根据业务情况可进行配置。

(7)LINK可提供全方位的安全保障

业务层安全:具备身份认证、业务认证、完整性、机密性等安全保护措施。

平台层安全:具备软件完整性校验、操作系统加固、数据库加固等运营环境安全保护措施;具备组网隔离、防DOS攻击、IDS等组网部署安全保护措施;具备帐户管理、日志管理等运维安全保护措施;具备个人数据保护等数据安全保护措施。

接入层安全:具备身份认证、传输加密、防篡改、防抵赖等安全保护措施。

终端层安全:采用唯一性的device ID、用户名和密码对设备的接入进行安全鉴权。

5、统一运维

(1)告警监控

提供ROMA各组件告警监控信息,能够通过运维界面查看ROMA进程及业务故障信息,以直观的方式将应用产生的告警信息进行展示。

(2)错误日志检索

对ROMA的日志进行采集,并支持在Kibana进行日志检索展示,当前支持对error日志的检索展示。

(3)进程监控

对ROMA各应用组件的进程状态进行监控,在Kibana上展示结果。

(4)Ngnix日志监控

提供对Nginx的access和error日志进行采集和分析,并进行视图展示。ROMA Portal每个访问请求都会记录access日志(错误时记录error日志),通过该日志看出什么时候是业务高峰,辅助定位问题。

(5)节点资源使用情况监控

提供对所有ROMA服务所在的Linux节点的系统资源监控,包括内存,CPU、磁盘、网络等,并对资源情况进行分析和视图展示。

(6)JVM业务进程资源使用监控

提供对ROMA的JVM业务进程实例的内存(heap、non-heap)、gc、占用cpu进行监控,并进行分析和视图展示,以达到监控web容器的运行状态,从而预测内存泄露,fullgc太长导致业务中断等问题。

相关推荐
孟里啥都有.8 分钟前
nginx重定向
运维·nginx
水彩橘子26 分钟前
shellhub 部署
运维
零K沁雪34 分钟前
VirtualBox 安装 Ubuntu Server24.04
linux·运维·ubuntu
FlowingRiver41 分钟前
nginx配置stream代理
运维·nginx
星殇曦落44 分钟前
nginx的重定向(rewrite)
运维·nginx
对许1 小时前
Java操作Excel最佳实践
java·spark·excel
天才的白鸟1 小时前
电商数据仓库
数据仓库
小的~~1 小时前
大数据面试题之数据库(2)
大数据·数据库
迅腾文化1 小时前
品牌推广的深层逻辑:自我提升与市场认同的和谐共生
大数据·人工智能·物联网·信息可视化·媒体
蜗牛学苑_武汉2 小时前
Linux之文本三剑客
linux·运维