Observability:使用 OpenTelemetry 对 Node.js 应用程序进行自动检测

作者:Bahubali Shetti

DevOps 和 SRE 团队正在改变软件开发的流程。 DevOps 工程师专注于高效的软件应用程序和服务交付,而 SRE 团队是确保可靠性、可扩展性和性能的关键。 这些团队必须依赖全栈可观察性解决方案,使他们能够管理和监控系统,并确保问题在影响业务之前得到解决。

整个现代分布式应用程序堆栈的可观察性需要通常以仪表板的形式收集、处理和关联数据。 摄取所有系统数据需要跨堆栈、框架和提供程序安装代理,对于必须处理版本更改、兼容性问题和不随系统变化而扩展的专有代码的团队来说,这个过程可能具有挑战性且耗时。

得益于 OpenTelemetry (OTel),DevOps 和 SRE 团队现在拥有一种收集和发送数据的标准方法,该方法不依赖于专有代码,并且拥有大型社区支持,减少了供应商锁定。

之前的博客中,我们还回顾了如何使用 OpenTelemetry 演示并将其连接到 Elastic®,以及 Elastic 与 OpenTelemetry 和 Kubernetes 的一些功能。

在本博客中,我们将展示如何通过我们名为 Elastiflix 的应用程序的 Node.js 服务来使用 OpenTelemetry 的自动检测,这有助于以简单的方式突出显示自动检测。

这样做的好处是不需要 otel-collector! 此设置使你能够根据最适合你业务的时间表,缓慢而轻松地将应用程序迁移到使用 Elastic 的 OTel。

应用程序、先决条件和配置

我们在这个博客中使用的应用程序称为 Elastiflix,一个电影流应用程序。 它由多个用 .NET、NodeJS、Go 和 Python 编写的微服务组成。

在我们检测示例应用程序之前,我们首先需要了解 Elastic 如何接收遥测数据。

Elastic Observability 的所有 APM 功能均可通过 OTel 数据使用。 其中一些包括:

  • 服务地图
  • 服务详细信息(延迟、吞吐量、失败的 transactions)
  • 服务之间的依赖关系、分布式追踪
  • Transactions(跟踪)
  • 机器学习 (ML) 相关性
  • 日志相关性

除了 Elastic 的 APM 和遥测数据的统一视图之外,你还可以使用 Elastic 强大的机器学习功能来减少分析,并发出警报以帮助降低 MTTR。

先决条件

查看示例源代码

完整的源代码,包括本博客中使用的 Dockerfile,可以在 GitHub 上找到。 该存储库还包含相同的应用程序,但没有检测。 这使您可以比较每个文件并查看差异。

以下步骤将向你展示如何实现此应用程序并在命令行或 Docker 中运行它。 如果你对更完整的 OTel 示例感兴趣,请查看此处的 docker-compose 文件,它将显示完整的项目。

分步指南

步骤 0:登录你的 Elastic Cloud 帐户

本博客假设你有 Elastic Cloud 帐户 - 如果没有,请按照说明开始使用 Elastic Cloud

步骤 1:为 Node.js 服务配置自动检测

我们将通过 Elastiflix 演示应用程序中的 Node.js 服务使用自动检测。

我们将使用 Elastiflix 的以下服务:

Elastiflix/node-server-otel-manual

根据 OpenTelemetry JavaScript 文档和 @open-telemetry/auto-instrumentions-node 文档,你只需使用 npm 安装适当的节点包即可。

npm install --save @opentelemetry/api
npm install --save @opentelemetry/auto-instrumentations-node

如果你在命令行上运行 Node.js 服务,那么以下是如何使用 Node.js 运行自动检测。

node --require '@opentelemetry/auto-instrumentations-node/register' app.js

对于我们的应用程序,我们将其作为 Dockerfile 的一部分来执行。

Dockerfile

FROM node:14

WORKDIR /app

COPY ["package.json", "./"]
RUN ls
RUN npm install --production
COPY . .

RUN npm install --save @opentelemetry/api
RUN npm install --save @opentelemetry/auto-instrumentations-node


EXPOSE 3001

CMD ["node", "--require", "@opentelemetry/auto-instrumentations-node/register", "index.js"]

步骤 2:使用环境变量运行 Docker 镜像

按照 OTEL 文档中的规定,我们将使用环境变量并传入配置值以使其能够与 Elastic Observability 的 APM 服务器连接。

由于 Elastic 原生接受 OTLP,因此我们只需要提供 OTEL Exporter 需要发送数据的端点和身份验证,以及一些其他环境变量。

获取 Elastic Cloud 变量

你可以从路径 /app/home#/tutorial/apm 下的 Kibana® 复制端点和令牌。

你将需要复制以下环境变量:

OTEL_EXPORTER_OTLP_ENDPOINT
OTEL_EXPORTER_OTLP_HEADERS

创建 image

docker build -t  node-otel-auto-image .

运行 image

docker run \    
       -e OTEL_EXPORTER_OTLP_ENDPOINT="<REPLACE WITH OTEL_EXPORTER_OTLP_ENDPOINT>" \
       -e OTEL_EXPORTER_OTLP_HEADERS="Authorization=Bearer <REPLACE WITH TOKEN>" \
       -e OTEL_RESOURCE_ATTRIBUTES="service.version=1.0,deployment.environment=production" \
       -e OTEL_SERVICE_NAME="node-server-otel-auto" \
       -p 3001:3001 \
       node-server-otel-auto

你现在可以发出一些请求来生成跟踪数据。 请注意,这些请求预计会返回错误,因为此服务依赖于你的计算机上可能未运行的某些下游服务。

curl localhost:3001/api/login
curl localhost:3001/api/favorites

# or alternatively issue a request every second

while true; do curl "localhost:3001/api/favorites"; sleep 1; done;

步骤 3:探索 Elastic APM 中的跟踪、指标和日志

浏览 Elastic APM 中的服务部分,你将看到显示的节点服务。

单击 node-server-otel-auto 服务,你可以看到它正在使用 OpenTelemetry 摄取遥测数据。

总结

在这篇博客中,我们讨论了以下内容:

  • 如何使用 OpenTelemetry 自动检测 Node.js
  • 使用 Dockerfile 中的标准命令,可以高效地完成自动检测,并且无需在多个位置添加代码,从而实现可管理性

由于 Elastic 可以支持多种摄取数据的方法,无论是使用开源 OpenTelemetry 的自动检测还是使用其本机 APM 代理进行手动检测,你都可以先关注一些应用程序,然后使用稍后以最适合你的业务需求的方式在你的应用程序中打开遥测。

相关推荐
椰椰椰耶1 小时前
【文档搜索引擎】项目核心思路,模块划分和分词的概念
搜索引擎
Elastic 中国社区官方博客1 小时前
从 App Search 到 Elasticsearch — 挖掘搜索的未来
大数据·人工智能·elasticsearch·搜索引擎·ai·全文检索·数据库开发
暮暮七1 小时前
hive和spark读写分区表NULL列
大数据·linux·hive·hadoop·sql·spark
B站计算机毕业设计超人2 小时前
计算机毕业设计Python+大模型美食推荐系统 美食可视化 美食数据分析大屏 美食爬虫 美团爬虫 机器学习 大数据毕业设计 Django Vue.js
大数据·爬虫·python·深度学习·机器学习·课程设计·推荐算法
SaNDJie2 小时前
24.11.26 神经网络 参数初始化
大数据·人工智能·神经网络
FreeIPCC3 小时前
开源客服中心系统的未来趋势、未来前景是什么?
大数据·人工智能·语言模型·机器人·开源
SeaTunnel3 小时前
VTS:基于Apache SeaTunnel的开源向量数据迁移工具
大数据
B站计算机毕业设计超人3 小时前
计算机毕业设计Hadoop+Spark音乐推荐系统 音乐预测系统 音乐可视化大屏 音乐爬虫 HDFS hive数据仓库 机器学习 深度学习 大数据毕业设计
大数据·hadoop·爬虫·python·深度学习·spark·数据可视化
说书客啊4 小时前
计算机毕业设计 | SpringBoot+vue美食推荐商城 食品零食购物平台(附源码+论文)
java·spring boot·node.js·vue·毕业设计·课程设计·美食
老周聊架构4 小时前
聊聊Flink:这次把Flink的window分类(滚动、滑动、会话、全局)、窗口函数讲透
大数据·flink