我的两个医学数据分析技术思路

我的两个医学数据分析技术思路

从临床上获得的或者公共数据库数据这种属于观察性研究,是对临床诊疗过程中自然产生的数据进行分析而获得疾病发生发展的规律等研究成果。再细分,可以分为独立危险因素鉴定和预测模型构建两种。

独立危险因素鉴定是一直以来的研究内容,目的是研究疾病预后的影响因素或者开发诊断指标,早期是通过统计学和逻辑回归模型等方法进行研究;而预测模型构建是后来出现的,把多个独立危险因素集中起来共同对疾病结局进行预测或者诊断疾病,达到更好地诊断和治疗疾病的目的。

数据分析技术新的发展也给以上两部分内容带来了新的面貌,这里总结个人在这两方面的分析技术思路,供大家借鉴。

机器学习算法主导的独立危险因素鉴定

这里的机器学习主要是指xgboost等非线性模型,传统的是使用多因素逻辑回归作为独立危险因素鉴定的最终结果,线性模型事先假定变量之间的关系是线性的被认为可能造成了分析结果的不准确,所以现在用xgboost等非线性模型来克服这个缺点,但是非线性模型就没有象OR值这样能反映变量间关联强度的指标,等到SHAP分析这样可以解释模型的工具出现之后,机器学习算法主导的独立危险因素鉴定才形成套路。
技术思路:

  1. 变量信息表(传统的表1),展示变量的分布信息(平均值和标准差等)

  2. Boruta算法筛选变量,这是近年才流行的方法,微小的关联也能筛选出来,所以不担心遗漏有意义的变量。

  3. 构建xgboost等非线性模型并展示模型效能,这里良好的模型性能代表所选择的变量与结局变量之间有良好的相关性,在这个前提下,后续的分析才是有价值的。

  4. SHAP分析展示变量的整体贡献,可以选择排名靠前的变量或者所有的变量进行后续的分析;

  5. SHAP分析展示单个变量随变量值变化其对结局变量贡献(某变量的SHAP值)的变化,结合立方样条曲线拟合确定关键的点(SHAP值为0时对应的点和shap值大于0的曲线上的拐点)

  6. SHAP分析展示变量间的交互作用,展示变量间的交互作用。

  7. 其它,可以加入传统的线性模型的分析方法以从不同方面展示独立危险因素;如果收集了同类变量,还可以比较同类变量之间与结局变量相关性的差异;如果得到的独立危险因素够多,可以进行预测模型的构建,否则也可以独立成文。

临床预测模型构建(从数据到应用)

临床预测模型在这里不多介绍。
技术思路:

  1. 变量的展示(表1)

  2. Boruta,Lasso等方法选择变量,传统的通过单因素分析p值的半自动方法应该淘汰了。

  3. 模型构建和评价,评价包括内部评价和外部评价,ROC曲线和校准曲线等我们已经耳熟能详的指标。这里可以是单个模型,也可以是相似结局的一组模型。

  4. SHAP分析等解释模型,这里以汇总结果为主,从整体评价变量对模型的贡献;

  5. DCA分析,比较模型间的净收益以选择模型,或者变量间的净收益来评价变量;

  6. 构建列线图或者预测模型APP,如果是APP,推荐融入SHAP分析的个体评价,对单个预测结果进行解释,可以展示变量当前值对预测结果的贡献,在临床实践中可以解析为当前患者的病因是什么;

  7. 后续,确定后续的临床措施(预测模型阳性采取的检验或者治疗措施)并进行预测模型临床影响力评价(一般是随机对照试验)。

最后

当拿到一份数据,可以先做预分析,如果得到的相关变量较多,就可以做预测模型,如果不够多,就可以考虑独立危险因素分析。

个人感觉,数据分析类的研究关键在于数据,大样本,自己收集的,有特点的数据更容易做出有意义的研究。

相关推荐
problc2 小时前
Manus AI 全球首款通用型 Agent,中国制造
大数据·人工智能·制造
*星星之火*5 小时前
【Flink银行反欺诈系统设计方案】3.欺诈的7种场景和架构方案、核心表设计
大数据·架构·flink
黑客KKKing5 小时前
Refreshtoken 前端 安全 前端安全方面
大数据·前端·网络·安全·web安全
永洪科技5 小时前
共绘智慧升级,看永洪科技助力由由集团起航智慧征途
大数据·数据分析·数据可视化·bi
好记性+烂笔头5 小时前
Hadoop八股
大数据·hadoop·分布式
Python数据分析与机器学习5 小时前
《基于Hadoop的出租车需求预测系统设计与实现》开题报告
大数据·hadoop·分布式·python·算法·数据挖掘·数据分析
StableAndCalm5 小时前
什么是hadoop
大数据·hadoop·分布式
麻芝汤圆5 小时前
在虚拟机上安装 Hadoop 全攻略
大数据·linux·服务器·hadoop·windows·分布式
lqlj22335 小时前
第一个Hadoop程序
大数据·hadoop·分布式
2302_799525745 小时前
【Hadoop】什么是Zookeeper?如何理解Zookeeper?
大数据·hadoop·zookeeper