利用DataStream和TrafficPeak实现大数据可观察性

可观察性工作流对于深入了解应用程序的健康状况、客户流量和整体性能至关重要。然而,要实现真正的可观察性还面临一些挑战,包括海量的流量数据、数据保留、实施时间以及各项成本等。


如您所在的企业也在考虑采购云服务或进行云迁移,

点击链接了解Akamai Linode解决方案,现在申请试用可得高达500美元专属额度


TrafficPeak是一款为Akamai云平台打造,简单易用、可快速部署的可观察性解决方案。TrafficPeak与DataStream配合使用,能以比其他可观察性平台最多降低75%的成本摄取、索引、压缩、存储和搜索大流量实时日志数据。TrafficPeak为客户提供了Grafana登录和自定义仪表盘,客户可以在其中对数据进行可视化和搜索并设置警报。

本文将概括介绍TrafficPeak可观察性解决方案,以及为高流量分发平台构建的,经过测试和验证的可观察性架构。该解决方案结合了Akamai基于边缘的DataStream日志流服务、SIEM集成,以及建立在Linode云基础架构上的TrafficPeak,从而能为大规模流量、日志和数据保留提供支持。

Akamai云平台上的TrafficPeak

· TrafficPeak是什么?

TrafficPeak是一个完全托管的可观察性解决方案,能与DataStream日志流和Akamai Cloud Computing配合使用。TrafficPeak由Akamai管理和托管,使用Linode Compute Instances和Linode Object Storage处理和存储数据。在TrafficPeak的帮助下,客户可以访问Grafana界面,该界面带有预配置、可定制的仪表板,提供了数据可视化和监控功能。

· TrafficPeak适合哪些人?

TrafficPeak适合需要为PB级大数据提供经济高效的一体化"交钥匙"式可观察性解决方案的Akamai客户。

应对不同挑战

·降低成本,提高可见性

在实现标准的数据可视化能力同时,将可观察性成本最多降低75%。

其他可观察性解决方案通常是为特定应用的可观察性构建的,而TrafficPeak是为实现支持超大数据量的CDN级可观察性构建的。TrafficPeak旨在与DataStream合作,从边缘摄取日志,并使用对象存储和计算实例来实现高效、解耦、无状态的架构。通过将流量和CDN日志保存在同一平台上,TrafficPeak能将可观察性成本最多降低75%。

有了大量数据,数据报告的标准化就变得更重要。TrafficPeak的Grafana仪表板支持大量用户访问,提供了集中的数据源。这有助于简化组织运营,并让使用数据的开发者能够从同一个地方获取数据。

·海量数据和数据保留

在与边缘交付相同的平台上采用可观察性解决方案,解决数据量和数据保留难题。

与海量数据相关的成本和基础设施挑战不胜枚举,例如:数据采集、数据存储和保留、数据搜索和效率等。由于TrafficPeak是专为Akamai打造的,因此用户可将边缘和可观察性解决方案整合到一个平台,从而应对这些挑战。

有了TrafficPeak,日志可使用DataStream从Akamai边缘直接发送到Linode计算平台,无需在Akamai平台之外传输数据流量。TrafficPeak通过同时使用计算实例和对象存储,将日志的处理与存储分离,使用高达25倍的数据压缩,并提供15个月以上的可搜索、可访问的热数据保留。

·复杂数据类型

通过可视化监控和数据报告实现复杂数据类型的可观察性。

复杂数据(如媒体交付和游戏数据)可能面临更多挑战:对延迟极端敏感、高数据量、受众洞察力、特定应用程序的数据类型、数据合规性和安全性等。通过TrafficPeak的可视化监控和数据报告,用户可以跟踪受众规模、唯一收视率、SIEM数据,以及其他特定受众数据。TrafficPeak还受到Akamai的监控(因此无需担心扩展问题),提供了可配置的警报,并且在使用Akamai Adaptive Media Delivery时还能支持CMCD。

·实施

能支持海量数据的可观察性解决方案,其实施往往既费时又费钱。TrafficPeak为Akamai客户提供了开箱即用的解决方案,并且可与现有应用基础架构配合使用,从而解决了这一问题。

TrafficPeak工作流程示意

以下是一个大流量分发平台客户在Akamai云上实施的DataStream和TrafficPeak架构高级示意图和流程。

  1. 客户端发出资产请求、API调用请求或其他HTTPs请求。该请求会被路由到最近的Akamai边缘区域。
  2. 如果请求存在缓存响应,则由Akamai边缘服务器直接返回;否则该请求将回源以获得响应。
  3. 生成此过程的分发/安全日志,并将其发送至Akamai云基础设施上的TrafficPeak(用于日志处理的Linode计算实例和用于日志存储的Linode对象存储)。
  4. TrafficPeak收集信息,提供更长的数据保留期(+15个月),从而用于历史数据趋势和报告,并提高整体可见性。
  5. 可支持数百用户的Grafana仪表盘为DataStream和SIEM功能提供了统一视图。

系统和组件

  • DataStream:Akamai的边缘原生日志流服务。
  • TrafficPeak:Akamai在Akamai Cloud Computing平台上运行的托管式可观察性解决方案。由计算实例、对象存储和Grafana仪表板组成。
  • 边缘服务器:接收、处理和服务客户端请求的边缘基础设施。在此工作流中,边缘服务器活动会被记录并发送到TrafficPeak以供观察。
  • 数据分析:Grafana仪表盘;基于网络的分析和可视化平台,预配置了用于监控TrafficPeak日志活动的功能。已配置并可供TrafficPeak客户访问。
  • 虚拟机:用于运行TrafficPeak日志采集和处理软件的计算实例。由Akamai托管。
  • Object Storage:兼容S3的对象存储,用于存储来自TrafficPeak的日志数据。由Akamai托管。

总结

通过上述系统,即可在Akamai云平台上获得简单易用、功能强大、成本低廉的全托管式可观察性解决方案。其成本能比其他同类平台最多降低75%!


如您所在的企业也在考虑采购云服务或进行云迁移,

点击链接了解Akamai Linode解决方案,现在申请试用可得高达500美元专属额度

相关推荐
SHIPKING3931 小时前
【机器学习&深度学习】制作数据集
人工智能
Ronin-Lotus6 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
cpsvps7 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯7 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
Ai墨芯1118 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师8 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot8 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能
SHIPKING3938 小时前
【机器学习&深度学习】LLamaFactory微调效果与vllm部署效果不一致如何解决
人工智能·深度学习·机器学习
Johny_Zhao9 小时前
CentOS Stream 9上部署FTP应用服务的两种方法(传统安装和docker-compose)
linux·网络安全·信息安全·kubernetes·云计算·containerd·ftp·yum源·系统运维