Cloudflare
Cloudflare 是一家全球领先的互联网性能和安全公司，提供一系列广泛的服务，包括内容分发网络（CDN）、域名系统（DNS）优化、DDoS 防护、Web 应用防火墙、SSL/TLS 加密等，旨在帮助网站和在线服务提升性能、增强安全性和可靠性，同时降低延迟和成本。通过其全球分布式网络，Cloudflare 能够快速缓存和分发内容，抵御网络攻击，并为用户提供简化的网站管理体验。
Cloudflare Logpush 是 Cloudflare 提供的一种强大的日志推送服务，能够将各种日志数据推送到用户指定的目标位置，帮助用户更好地分析和监控其网络流量、安全事件和应用性能。
核心功能
- 日志推送：Logpush 可以将 Cloudflare 网络边缘捕获的事件日志推送到用户配置的目标，如云存储服务（Amazon S3、Google Cloud Storage 等）、日志管理平台（观测云、Datadog、Elastic、Splunk 等）。
- 支持多种日志类型：涵盖 HTTP 请求、Web 应用防火墙（WAF）、访问请求、审计日志、DNS 等多种日志类型。
- 灵活的目标配置：用户可以将日志推送到多种目标，包括但不限于云存储服务、SIEM 系统、HTTP 端点等。
- 过滤和采样功能：用户可以通过配置过滤器和采样率，仅推送符合特定条件的日志，减少数据量。
- 实时性和持久化：Logpush 提供了实时日志推送功能，同时支持将日志持久化存储到目标位置，方便后续分析。
- 高效性：通过过滤和采样功能，减少不必要的数据传输，提高效率。
观测云
观测云是一款专为 IT 工程师打造的全链路可观测产品，它集成了基础设施监控、应用程序性能监控和日志管理，为整个技术栈提供实时可观察性。这款产品能够帮助工程师全面了解端到端的用户体验追踪，了解应用内函数的每一次调用，以及全面监控云时代的基础设施。此外，观测云还具备快速发现系统安全风险的能力，为数字化时代提供安全保障。
实践步骤
准备工作
在 Logpush 配置 HTTP Destination 时有三个请求参数需要填写：
- source：作为中心的数据源标签，目前支持两种：
http_requests，dns_logs - domain：作为服务标签，建议使用域名，例如：
domain=domain.com - token：请求 token
- endpoint：上报平台节点，可以登录空间进行复制
HTTP Request 数据上报配置
HTTP 请求日志，在配置目标地址时，要配置请求的类型： "source=http_requests"。
创建作业
- 登录 Cloudflare 仪表板 → 选择目标网站 → 导航至 Analytics → Logs → 点击 Add Logpush Job
- 选择数据集：
HTTP Requests - 配置目标：
HTTP Destination - 填写路径：
https://<endpoint>/v1/write/cf-logpush?source=http_requests&domain=<domain.com>&token=tkn_abcxxx - 作业名称：符合格式即可
- 发送字段：用户可以自定义选择，只要不为空的字段都会解析到一级字段
- 高级选项：选择时间格式为纳秒单位
unixnano
注意：填写目标路径的时候一定要填写 source、domain、token 否测数据无法按照类型进行筛选，高级选项一定要使用纳秒时间单位。
DNS 请求日志上报配置
操作步骤与 HTTP 请求类似。但是注意，在配置目标地址时，要配置请求类型："source=dns_logs"。
创建作业
- 登录 Cloudflare 仪表板 → 选择目标网站 → 导航至 Analytics → Logs → 点击 Add Logpush Job
- 选择数据集：
DNS Logs - 配置目标：
HTTP Destination - 填写路径：
https://<endpoint>/v1/write/cf-logpush?source=dns_logs&domain=<domain.com>&token=tkn_abcxxx - 作业名称：符合格式即可
- 发送字段：可以全选，目前中心全部支持解析到一级字段
- 高级选项：选择时间格式为纳秒单位
注意：填写目标路径的时候一定要填写 source、domain、token 否测数据无法按照类型进行筛选，高级选项一定要使用纳秒时间单位。
添加完成后，如下图所示：
场景视图
登录观测云控制台，点击「场景」 -「新建仪表板」，输入 "CloudFlare"， 选择 "CloudFlare"，点击 "确定" 即可添加视图。
视图分为两个组，分别是 HTTP Request 和 DNS 。
总结
观测云通过集成 Cloudflare 的日志推送功能（Logpush），能够高效采集 Cloudflare 的各类日志数据（如 HTTP 请求日志、DNS 日志等），并将这些数据实时传输至观测云平台进行深度分析。借助观测云强大的数据处理能力和可视化工具，用户可以快速识别网络流量中的异常行为、性能瓶颈以及安全威胁，从而实现对网站和应用的实时监控与优化，提升整体运维效率和安全性。