观测云产品更新 | 优化日志数据转发、索引绑定、基础设施自定义等

观测云更新

日志

  • 数据转发:新增外部存储转发规则数据查询;支持启用/禁用转发规则;
  • 绑定索引:日志易新增标签绑定,从而实现更细颗粒度的数据范围查询授权能力。

基础设施 > 自定义

  • 【默认属性】这一概念更改为【必有属性】:上报的数据中必须包含该属性字段,否则将会上报失败;
  • 支持将自定义对象添加至二级菜单,便于查看;
  • 自定义查看器新增快捷筛选。

场景

  • 定时报告:新增【钉钉】【企业微信】【飞书】三种通知方式;
  • 图表:【时序图、饼图、柱状图、直方图、散点图、气泡图、表格图、矩形树图、漏斗图、排行榜、地图、蜂窝图】新增数据格式,可以定义【小数位数】以及【千分位分隔符】。

监控 > 通知对象管理

  • 邮件组类型下架,已创建的不受影响。

快照

  • 分享快照新增 IP 白名单访问限制。

异常追踪

  • 【等级】支持自定义创建;支持启用/禁用默认等级。

集成 > 扩展

  • DataFlux Func 托管版和 RUM Headless 现支持海外站点:俄勒冈,法兰克福,新加坡。

DataKit 更新

新加功能

  • 新增 Neo4j 采集器
  • RUM 采集器新增 sourcemap 文件上传、删除和校验接口,并移除 DCA 服务中 sourcemap 上传和删除接口
  • 新增 IBM Db2 采集器的监控视图和检测库

功能优化

  • 优化 Kubernetes 指标采集和对象采集的效率
  • 优化日志采集的 metrics 输出
  • Kubernetes Node 对象采集添加 unschedulable 和 node_ready 两个新字段
  • Oracle 采集器支持 Linux ARM64 架构
  • logstreaming 采集器增加集成测试
  • Datakit 开发文档中增加 IBM Db2 采集器内容
  • Kafka、MongoDB 采集器文档完善
  • MySQL 采集器监控帐号创建时,MySQL 8.0+ 默认采用 caching_sha2_password 加密方式
  • 优化 bug report 命令采集 syslog 文件过大问题

问题修复

  • 修复环境变量 ENV_GLOBAL_HOST_TAGS 中使用 __datakit_hostname 无法获取主机 hostname 的问题
  • 修复 host_processes 采集器指标数据缺少 open_files 字段
  • 修复 Pinpoint 采集器 resource 大量为空的情况和 Pinpoint 占用内存过高问题

Breaking Changes

  • 删除 DCA 服务中的 sourcemap 文件上传和删除接口,相关接口移至 RUM 采集器

集成更新

Huawei CCE

  • 观测云支持对 CCE 中各类资源的运行状态和服务能力进行监测,包括 Containers、Pods、Services、Deployments、Clusters、Nodes、Replica Sets、Jobs、Cron Jobs 等。您可以在 Kubernetes 中通过 DaemonSet 方式安装 `DataKit`,进而完成对 Kubernetes 资源的数据采集。最终,在观测云中实时监测 Kubernetes 各类资源的运行情况。

Huawei CSS(Elasticsearch)

  • 华为云搜索服务 CSS for Elasticsearch 的核心性能指标包括查询延迟、索引速度、搜索速度、磁盘使用率和 CPU 使用率,这些都是评估和优化 Elasticsearch 性能的关键指标。

Huawei SYS.AS

  • 华为 SYS.AS 的核心性能指标包括 CPU 利用率、内存使用率、磁盘I/O、网络吞吐量和系统负载等,这些都是评估和优化自动缩放系统性能的关键指标。

Huawei ASM

  • 华为云的 ASM 的链路追踪数据输出到观测云,进行查看、分析。

AWS CloudFront

  • AWS CloudFront 的核心性能指标包括请求总数、数据传输量、HTTP 错误率、缓存命中率和延迟,这些可以帮助用户评估和优化内容分发网络的性能。

AWS MediaConvert

  • AWS MediaConvert 包括数据传输、视频报错、作业数、填充等。

AWS Aurora Serverless V2

  • AWS Aurora Serverless V2,包括连接数、IOPS、队列、读写延迟、网络吞吐量等。

AWS Redshift

  • AWS Redshift 的核心性能指标包括查询性能、磁盘空间使用率、CPU 利用率、数据库连接数和磁盘 I/O 操作,这些都是评估和优化数据仓库性能的关键指标。

AWS Simple Queue Service

  • AWS Simple Queue Service 的展示指标包括队列中最旧的未删除消息的大约存在时间、延迟且无法立即读取的消息数量、处于空中状态的消息的数量、可从队列取回的消息数量等。

AWS Timestream

  • AWS Timestream 的展示指标包括系统错误数(内部服务错误数)、当前 AWS 区域和当前 AWS 帐户的无效请求的总和、成功请求经过的时间和样本数量、存储在内存中的数据量以及存储在磁存储器中的数据量等。

AWS Neptune Cluster

  • AWS Neptune Cluster 的展示指标包括冷启动时间、执行时间、并发执行数和内存使用量,这些指标反映了 Neptune Cluster函数的响应速度、可扩展性和资源利用情况。
相关推荐
Ops菜鸟(Xu JieHao)2 天前
Linux快速生成测试日志flog
linux·运维·服务器·日志·log
色空大师4 天前
【日志文件配置详解】
java·logback·log4j2·日志
W23035765735 天前
【C++ 高性能日志系统实战】第三篇:异步日志系统的实现与优化
网络·数据结构·算法·日志
却话巴山夜雨时i13 天前
互联网大厂Java面试场景:从Spring到微服务的逐层提问
java·数据库·spring·微服务·日志·性能监控
七夜zippoe22 天前
OpenClaw 日志与调试技巧:从入门到精通
grafana·日志·调试技巧·log·openclaw
无心水23 天前
时间处理工程落地指南:数据库/日志/API/定时任务
java·大数据·数据库·日志·分布式架构·utc·gmt
yaoty2 个月前
Python日志存储:从单机同步到分布式异步的7种方案
fastapi·日志·logger
想不明白的过度思考者2 个月前
你真的会打印日志吗?基于 Spring Boot 的全方位日志指南
java·spring boot·后端·日志
人间打气筒(Ada)2 个月前
Linux学习~日志文件参考
linux·运维·服务器·学习·日志·log·问题修复
金牌归来发现妻女流落街头2 个月前
日志级别是摆设吗?
java·spring boot·日志