优维全新力作:统一采控平台

在本月,优维新一代核心系统「EasyOps」7.0大版本重磅上线,为广大用户带来了"更核心、更智能、更开放、更客制"的产品能力。(点击回看:重磅!优维科技发布EasyOps7.0大版本)在本次版本能力分享上,率先推出了统一采控平台。本文,将全面介绍优维全新打造的统一采控平台。

01

统一采控平台建设背景

优维在助力各行业头部用户提升运维管理能力的过程中发现,企业往往需要统一规划、统一标准、统一建设面向各种数据的采控体系。而在构建统一采控的过程当中,各种挑战也浮出水面:

  • 不同类型的数据散落在不同功能模块采集,没有集中管理视角;

  • 缺少统一的采集管理,容易造成漏采集、重复采集、采集失败率高等问题;

  • agent没有统一管理界面,无法界面化管理Agent,也无法查看Agent及其插件的监控状态。

为帮助企业更好地应对上述挑战,在最新的7.0大版本升级中,优维将平台已有的采集能力进行了一次大整合,打造了适应资源、指标、日志、事件、Tracing等数据的全新的统一采控平台。

该平台包含数据采集、数据转换、指标中心、Agent管理、数据集成五大功能模块。其中:

统一采控平台能够为企业提供以下重要的价值:

  • 可大规模节点秒级调度,支持联动CMDB做动态采集目标管理;

  • OneAgent可自由插拔采集插件,适配主流操作系统(linux、Windows、信创类OS等),对机器资源消耗低;

  • 支持多语言、多协议、多数据类型,采集覆盖面广,拥有几百种主流资源采集。

02

一采控平台 产品能力

在优维统一采控平台上,运维人员可以在这里执行数据采集、数据转换、指标管理与查看、Agent管理、数据集成等功能性操作。

快速开始

进入采控平台首页,通过图视化展示,用户可清晰看到平台具备的一些能力,包含支持多语言、多协议、多数据类型。当这类数据源对接到统一采控平台后,经过数据网关、kafka进行流处理。

在首页,用户点击首页中的每个图标皆可下钻到平台相应的功能模块页面。

数据采集

数据采集支持指标采集、日志采集、链路追踪接入、第三方指标接入。

指标采集-查看指标采集策略列表

进入指标采集页面,用户通过采集策略详情,可查看次采集策略任务定义、状态,指标定义和指标预览。用户也可新建采集策略,向导式配置基于采集套件的指标采集任务。

日志采集-管理日志采集任务

日志记录如系统运行状态日志、Error日志、Warning日志等信息,现已支持通过Log Sampler或FileBeat对日志数据提取关键字、APM性能数据或其他通用指标。

进入日志采集页面,用户通过日志采集任务列表,可查看不同类型的日志采集任务。可下钻查看单个日志采集任务详情,如采集指标、指标预览、原始日志预览等。

链路追踪采集-辅助用户进行链路追踪数据接入与采集

进入链路追踪采集页面,用户可清晰选择应用服务部署、接入方式以及接入指引。

第三方指标接入-提供第三方指标接入指引

进入第三方指标接入页面,用户可查看不同采集任务信息,也可下钻查看单个采集任务详情,如采集状态、采集指标、原始数据预览等。

数据转换

数据转换支持将对接入的数据进行清洗、转换、汇聚等数据处理。

数据清洗:数据清洗可对不符合要求的指标值或维度值进行清洗丢弃操作,以提升数据准确性。

数据转换:支持通过条件匹配转换数据值、转换值类型、绑定资源实例等操作。

数据汇聚:用户可对资源对象自身或关联资源的指标进行上层汇聚转换,通过运算后得到上层统计分析能力的汇聚指标,这些汇聚指标在使用中可获得和采集指标一致的能力,如:可供视图展示、配置告警等。

指标中心

指标中心支持统一的指标管理与指标速查。

指标管理-分类管理指标

进入指标管理页面,对一系列的指标进行分类管理,用户可通过指标管理分类列表,选择单个资源查看对应资源的指标详情。

指标速查-图表化展示指标数据

进入指标速查页面,用户可选择需要速查的资源对象,且图表化展示指标数据。其中,通过指标速查详情可快速查看实例指标数据。

Agent管理

进入Agent管理页面,用户可查看管理Agent信息、状态、维护动作、任务下发等。Agent管理也支持Proxy管理。

数据集成

为了将散布在各大系统中的指标、日志、链路追踪等数据接入到平台中,用户可以使用数据集成进行与外部数据源的连接管理。

目前,数据集成支持200+Agent指标采集套件,MySQL、Oracle等数据库(SQL)、Kafka(通过队列自定义上报)等...

以上是目前采控平台已拥有的能力,在产品的后续规划中,会持续增强平台的采控能力,数据转换支持批处理、将Zabbix Template一键接入等能力...

相关推荐
不会飞的小龙人5 天前
遥测数据采集工具Grafana Alloy
spring boot·grafana·日志采集·链路跟踪·alloy·otel
Shaidou_Data7 天前
信息技术引领未来:大数据治理的实践与挑战
大数据·人工智能·数据清洗·信息技术·数据治理技术
Shaidou_Data1 个月前
数据清洗的具体方法有哪些?
大数据·数据挖掘·数据分析·数据治理·数据清洗·1024程序员节
~提线木偶1 个月前
【SQL|大数据|数据清洗|过滤】where条件中 “ != “ 和 “ NOT IN() ” 对NULL的处理
大数据·数据库·sql·数据清洗
闲人编程2 个月前
Python实现日志采集功能
开发语言·python·fluentd·filebeat·日志采集
数分大拿的Statham2 个月前
PostgreSQL中的regexp_split_to_table函数详解,拆分字段为多行
大数据·数据库·postgresql·数据分析·数据清洗
奔跑草-2 个月前
【拥抱AI】沉浸式体验SpaCy开源分词器
人工智能·大模型·数据清洗·rag·spacy·数据分词
消失在人海中2 个月前
数据分析中的数据清洗方法策略
大数据·数据清洗
isNotNullX2 个月前
数据可视化的必要前提:数据清洗
大数据·信息可视化·数据可视化·数据清洗
临床数据科学和人工智能兴趣组3 个月前
4章7节:用R做数据重塑,数据去重和数据的匹配
数据清洗·数据科学·r·数据去重·数据重塑·数据匹配