给全员开通Copilot,并不等于AI已经进入开发流程。GitHub在9月17日为影响仪表盘增加28天功能参与度,同时把CLI里的技能、自定义Agent、MCP服务器、斜杠命令和插件纳入使用指标API。我的判断是:企业终于能从"谁活跃过"走向"哪些工作方式形成了习惯",但仍不能把调用次数直接当成生产力。
新指标测量了什么
功能参与度把"活跃"定义为:用户在28天窗口内至少两天使用某项功能。仪表盘和企业、组织级28天聚合报告会分别统计代码补全、Agent编辑、被动与主动代码审查、云端Agent、Copilot CLI和Copilot应用。一个人可以同时计入多项功能,因此各项人数不能简单相加成总用户数。
AI采用阶段还增加users_in_phase_28d,表示每个报告日向前滚动28天、属于某阶段的完整人群;旧字段total_engaged_users仍只统计当天活跃者。缺失或null表示无法计算,0才表示测量过但没有用户。这一区分对报表自动化很重要,否则缺数会被误写成零采用。
另一项更新针对Agentic CLI。API会给出使用最多的前五项技能、自定义Agent、MCP(模型上下文协议)服务器、斜杠命令和插件,并统计不同项目的数量。为保护隐私,企业自定义名称不会展示,而是归入other;MCP记录的是连接尝试,不保证工具调用成功。
为什么"至少两天"比日活更接近现实
一次试用可能只是好奇、培训演示或误触,连续28天中的至少两天仍是很低的门槛,却能排除一部分一次性噪声。更关键的是按功能拆分:代码补全普及,不代表团队会把Agent用于跨文件改动;MCP连接数量增长,也不代表内部数据源真正改善了任务完成率。
具体来说,某组织有500个授权席位,月内400人打开过Copilot,但只有80人两天以上使用主动代码审查。管理者不该得出"80人落后"的简单结论,而应进一步查看:该功能是否适合他们的仓库、权限是否开启、建议是否经常误报、团队是否已有其他审查流程。功能参与度是诊断入口,不是绩效排名。
对研发管理的实际价值
新口径可以帮助团队发现三类问题。第一是配置缺口:大家在用CLI,却很少连接批准的MCP服务器,可能是文档或认证流程太复杂。第二是培训缺口:某个经过验证的技能只由少数人使用。第三是工具泛滥:不同自定义项数量快速增长,但质量和维护责任没人负责。
最稳妥的做法是把采用、结果和护栏分成三层。采用层看功能参与度与使用频率;结果层看审查时间、构建通过率、返工和缺陷;护栏层看权限、敏感数据事件和人工审批。只有三层同时改善,才能说AI工具带来净价值。
我的判断与边界
GitHub把指标做得更细是好事,尤其是区分主动与被动代码审查、完整28天人群与当天活跃者。但数据仍由产品遥测定义,且只覆盖GitHub Copilot生态。连接尝试、启动次数和调用次数都不是完成任务的证据,更不是代码质量的因果证明。
企业还要警惕指标反噬。如果把"不同技能数"设为员工目标,人们会为了数字尝试更多工具;如果按Agent启动次数排名,复杂任务可能被拆成无意义的小任务。官方已经对自定义名称做聚合保护,组织也应坚持团队级改进,不把功能遥测变成个人绩效监控。
还有一个统计陷阱:28天滚动窗口会让变化显得平滑。培训周结束后,参与人数可能继续保持数周,不能据此断言习惯已经稳定;某项功能刚上线,也会因观察天数不足而被低估。看板最好同时标注发布日期、配置变化和培训事件,并用连续多个窗口判断趋势。
如果要评估因果效果,可以让相似团队分阶段启用同一功能,事先固定合并时长、缺陷率和返工口径,再比较变化。即便如此,也要记录项目难度和人员调整,避免把业务淡旺季误当成Copilot贡献。
一周内可做的检查
- 区分已分配席位、单次活跃和28天功能参与,不再混用采用率。
- 读取API时保留缺失值,绝不把
null自动转换为零。 - 为每个重点功能配一个结果指标,例如审查参与度对应合并时长与缺陷率。
- 把MCP连接尝试与成功工具调用分开统计。
- 每季度清理无人维护的技能、Agent和插件,明确所有者与权限。
- 只做团队趋势分析,不用遥测给个人排生产力名次。
你所在团队评价AI编码工具时,最缺的是功能使用数据,还是质量与返工数据?
关注「蜗牛聊AI」,一起看懂技术变化背后的真正机会。
本文首发于 java4u.cn,转载请注明出处。