gensim conherence model C_V 值与其他指标负相关BUG

在我用gensim3.8.3 conherence model分析京东评论主题模型时, C_V 与npmi、u_mass出现了强烈的皮尔逊负相关:

这些地方也反映了类似问题:

https://github.com/dice-group/Palmetto/issues/12

https://github.com/dice-group/Palmetto/issues/13

https://github.com/dice-group/Palmetto/issues/76

按道理来说,这些一致性评分都是越高越好。这里是怎么回事呢?

原来是原实现代码的gamma值搞错了,应该设置为1而不是2:

https://github.com/dice-group/Palmetto/issues/81

ps:截至2023.07.27,我电脑里的gensim版本还是3.8.1,没有更新到最新版的gensim(4.3.0),因此不知道gensim是否已修复此问题。肯折腾的朋友可以去尝试一下

相关推荐
IT毕设梦工厂33 分钟前
计算机毕业设计选题推荐:基于大数据的广告投放数据可视化分析系统|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hadoop·信息可视化·数据分析·spark·毕业设计·课程设计
IT毕设梦工厂34 分钟前
计算机毕业设计选题推荐:基于大数据的房地产交易数据分析与可视化|毕业设计选题|计算机毕设|选题推荐|毕设指导|项目定制|源码|高质量项目
大数据·hive·hadoop·python·数据分析·spark·课程设计
计算机源码社1 小时前
【27届大数据毕设】基于Hadoop的跨境二手车价格对比可视化分析系统-基于K-Means与FPGrowth的二手车价格影响因素挖掘研究
大数据·hadoop·python·数据分析·spark·毕业设计·数据可视化
明月_清风6 小时前
数据进入平台后怎么处理?一文搞懂 ETL
大数据·后端·数据分析
明月_清风6 小时前
数据处理完放在哪里?一文搞懂数据仓库与数据湖
大数据·后端·数据分析
明月_清风6 小时前
数据平台到底是什么?一篇文章搞懂数据平台开发
大数据·后端·数据分析
wang_yb6 小时前
检测数据异常值的五种统计技术
数据分析·databook
databook6 小时前
检测数据异常值的五种统计技术
python·数据挖掘·数据分析
明月_清风6 小时前
数据是怎么进入数据平台的?一文搞懂数据采集与数据同步
大数据·后端·数据分析
Databend6 小时前
同样 PASS,路径为何不同|用 Jev 逐 Span 评估 Agent Trace
大数据·数据分析·agent