我的两个医学数据分析技术思路

我的两个医学数据分析技术思路

从临床上获得的或者公共数据库数据这种属于观察性研究,是对临床诊疗过程中自然产生的数据进行分析而获得疾病发生发展的规律等研究成果。再细分,可以分为独立危险因素鉴定和预测模型构建两种。

独立危险因素鉴定是一直以来的研究内容,目的是研究疾病预后的影响因素或者开发诊断指标,早期是通过统计学和逻辑回归模型等方法进行研究;而预测模型构建是后来出现的,把多个独立危险因素集中起来共同对疾病结局进行预测或者诊断疾病,达到更好地诊断和治疗疾病的目的。

数据分析技术新的发展也给以上两部分内容带来了新的面貌,这里总结个人在这两方面的分析技术思路,供大家借鉴。

机器学习算法主导的独立危险因素鉴定

这里的机器学习主要是指xgboost等非线性模型,传统的是使用多因素逻辑回归作为独立危险因素鉴定的最终结果,线性模型事先假定变量之间的关系是线性的被认为可能造成了分析结果的不准确,所以现在用xgboost等非线性模型来克服这个缺点,但是非线性模型就没有象OR值这样能反映变量间关联强度的指标,等到SHAP分析这样可以解释模型的工具出现之后,机器学习算法主导的独立危险因素鉴定才形成套路。
技术思路:

  1. 变量信息表(传统的表1),展示变量的分布信息(平均值和标准差等)

  2. Boruta算法筛选变量,这是近年才流行的方法,微小的关联也能筛选出来,所以不担心遗漏有意义的变量。

  3. 构建xgboost等非线性模型并展示模型效能,这里良好的模型性能代表所选择的变量与结局变量之间有良好的相关性,在这个前提下,后续的分析才是有价值的。

  4. SHAP分析展示变量的整体贡献,可以选择排名靠前的变量或者所有的变量进行后续的分析;

  5. SHAP分析展示单个变量随变量值变化其对结局变量贡献(某变量的SHAP值)的变化,结合立方样条曲线拟合确定关键的点(SHAP值为0时对应的点和shap值大于0的曲线上的拐点)

  6. SHAP分析展示变量间的交互作用,展示变量间的交互作用。

  7. 其它,可以加入传统的线性模型的分析方法以从不同方面展示独立危险因素;如果收集了同类变量,还可以比较同类变量之间与结局变量相关性的差异;如果得到的独立危险因素够多,可以进行预测模型的构建,否则也可以独立成文。

临床预测模型构建(从数据到应用)

临床预测模型在这里不多介绍。
技术思路:

  1. 变量的展示(表1)

  2. Boruta,Lasso等方法选择变量,传统的通过单因素分析p值的半自动方法应该淘汰了。

  3. 模型构建和评价,评价包括内部评价和外部评价,ROC曲线和校准曲线等我们已经耳熟能详的指标。这里可以是单个模型,也可以是相似结局的一组模型。

  4. SHAP分析等解释模型,这里以汇总结果为主,从整体评价变量对模型的贡献;

  5. DCA分析,比较模型间的净收益以选择模型,或者变量间的净收益来评价变量;

  6. 构建列线图或者预测模型APP,如果是APP,推荐融入SHAP分析的个体评价,对单个预测结果进行解释,可以展示变量当前值对预测结果的贡献,在临床实践中可以解析为当前患者的病因是什么;

  7. 后续,确定后续的临床措施(预测模型阳性采取的检验或者治疗措施)并进行预测模型临床影响力评价(一般是随机对照试验)。

最后

当拿到一份数据,可以先做预分析,如果得到的相关变量较多,就可以做预测模型,如果不够多,就可以考虑独立危险因素分析。

个人感觉,数据分析类的研究关键在于数据,大样本,自己收集的,有特点的数据更容易做出有意义的研究。

相关推荐
B站计算机毕业设计超人4 分钟前
计算机毕业设计Hadoop+Spark+Hive招聘推荐系统 招聘大数据分析 大数据毕业设计(源码+文档+PPT+ 讲解)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
B站计算机毕业设计超人5 分钟前
计算机毕业设计hadoop+spark+hive交通拥堵预测 交通流量预测 智慧城市交通大数据 交通客流量分析(源码+LW文档+PPT+讲解视频)
大数据·hive·hadoop·python·spark·毕业设计·课程设计
数据架构师的AI之路6 分钟前
深入了解大数据领域Hive的HQL语言特性
大数据·hive·hadoop·ai
L***一29 分钟前
大数据技术专业中专生职业发展路径探析
大数据
woshikejiaih32 分钟前
**播客听书与有声书区别解析2026指南,适配不同场景的音频
大数据·人工智能·python·音视频
无忧智库39 分钟前
某市“十五五“智慧气象防灾减灾精准预报系统建设方案深度解读 | 从“看天吃饭“到“知天而作“的数字化转型之路(WORD)
大数据·人工智能
AllData公司负责人1 小时前
AllData数据中台-数据同步平台【Seatunnel-Web】整库同步MySQL同步Doris能力演示
大数据·数据库·mysql·开源
acrelwwj1 小时前
智慧照明新引擎,ASL600 4GWJ开启城市照明精细化管理新时代
大数据·经验分享·物联网
2501_943695331 小时前
高职大数据技术专业,怎么参与开源数据分析项目积累经验?
大数据·数据分析·开源
Dxy12393102162 小时前
别再让 ES 把你拖垮!5 个实战技巧让搜索性能提升 10 倍
大数据·elasticsearch·搜索引擎