【Application Insights】采样率对Function App日志收集的影响和解决方法

问题描述

在使用Application Insights来收集日志中,发现Function App的执行记录中缺少了日志。但这个Function确确实实的执行了。

那么,会是什么情况导致了Applicaiton Insights中收集日志信息不完善呢?

问题解答

根本原因是Application Insights默认启用了**采样率(Sampling)**功能,在Function App中,默认每一秒最多采集20项日志数据。

Application Insights 具有采样功能,可以防止在峰值负载时为已完成的执行生成过多的遥测数据。
当传入执行的速率超过指定的阈值时,Application Insights 开始随机忽略某些传入执行。
每秒执行的最大次数的默认设置为 20
( 参考文档:https://docs.azure.cn/zh-cn/azure-functions/configure-monitoring?tabs=v2#configure-sampling )

当知道有采样率功能后,那么:

  • 如何来判断真实的情况呢?
  • 是否真的是采样率导致了日志数据的不完整呢?

具体的检查方法是:在Application Insights 的门户上,进入Logs 页面,执行如下语句来查看采样百分比:

复制代码
union requests,dependencies,pageViews,browserTimings,exceptions,traces
| where timestamp > ago(1d)
| summarize RetainedPercentage = 100/avg(itemCount) by bin(timestamp, 1h), itemType

(RetainedPercentage < 100 则表示该类型的数据在统计周期中,执行了采样,日志数据收集并不完整)

实际效果图

RetainedPercentage 的解释:

RetainedPercentage 含义
= 100 未采样,数据完整
< 100 该时间窗口内发生了采样,数据不完整。比如第一个红圈中, Trace只收集了50%的数据, Exception 只收集了68.72%的数据

itemCount 的解释:

  • 采样(Sampling):SDK 在客户端按比例随机丢弃部分遥测数据,仅上报代表性的样本。

  • itemCount :每一条上报的遥测记录都会带这个字段,表示「这条样本背后实际代表了多少条原始记录」。

    • itemCount == 1:未采样,1 条记录就是 1 次真实调用;
    • itemCount == 10:采样了,这一条记录其实代表了 10 次原始调用(其余 9 次被丢弃)。
  • 聚合统计时(如 count()sum())需要按 itemCount 加权,否则数字会偏低。

解决方法

是的,可以避免采样情况的发生。

对于Request和Exception等关键的日志数据,需要100%收集,就可以修改Function App的 host.json 配置来实现。

复制代码
{
  "version": "2.0",
  "logging": {
    "applicationInsights": {
      "samplingSettings": {
        "isEnabled": true,
        "maxTelemetryItemsPerSecond": 20,
        "excludedTypes": "Request;Exception"
      }
    }
  }
}

要点说明:

  • isEnabled: true 保留对 traces / dependencies 等高频数据的采样,控制成本;
  • excludedTypes 用分号分隔,可选值包括 Request / Exception / Trace / Dependency / PageView / Event
  • 也可以通过 maxTelemetryItemsPerSecond 调整阈值,而不是一刀切关掉。

操作截图:

参考资料

配置采样 : https://docs.azure.cn/zh-cn/azure-functions/configure-monitoring?tabs=v2#configure-sampling
了解采样是否正在进行中 : https://learn.microsoft.com/zh-cn/previous-versions/azure/azure-monitor/app/sampling-classic-api#knowing-whether-sampling-is-in-operation
itemCount 属性值介绍:https://learn.microsoft.com/zh-cn/previous-versions/azure/azure-monitor/app/classic-api?tabs=dotnet%2Cnet#requests-in-log-analytics