我的两个医学数据分析技术思路

我的两个医学数据分析技术思路

从临床上获得的或者公共数据库数据这种属于观察性研究,是对临床诊疗过程中自然产生的数据进行分析而获得疾病发生发展的规律等研究成果。再细分,可以分为独立危险因素鉴定和预测模型构建两种。

独立危险因素鉴定是一直以来的研究内容,目的是研究疾病预后的影响因素或者开发诊断指标,早期是通过统计学和逻辑回归模型等方法进行研究;而预测模型构建是后来出现的,把多个独立危险因素集中起来共同对疾病结局进行预测或者诊断疾病,达到更好地诊断和治疗疾病的目的。

数据分析技术新的发展也给以上两部分内容带来了新的面貌,这里总结个人在这两方面的分析技术思路,供大家借鉴。

机器学习算法主导的独立危险因素鉴定

这里的机器学习主要是指xgboost等非线性模型,传统的是使用多因素逻辑回归作为独立危险因素鉴定的最终结果,线性模型事先假定变量之间的关系是线性的被认为可能造成了分析结果的不准确,所以现在用xgboost等非线性模型来克服这个缺点,但是非线性模型就没有象OR值这样能反映变量间关联强度的指标,等到SHAP分析这样可以解释模型的工具出现之后,机器学习算法主导的独立危险因素鉴定才形成套路。
技术思路:

  1. 变量信息表(传统的表1),展示变量的分布信息(平均值和标准差等)

  2. Boruta算法筛选变量,这是近年才流行的方法,微小的关联也能筛选出来,所以不担心遗漏有意义的变量。

  3. 构建xgboost等非线性模型并展示模型效能,这里良好的模型性能代表所选择的变量与结局变量之间有良好的相关性,在这个前提下,后续的分析才是有价值的。

  4. SHAP分析展示变量的整体贡献,可以选择排名靠前的变量或者所有的变量进行后续的分析;

  5. SHAP分析展示单个变量随变量值变化其对结局变量贡献(某变量的SHAP值)的变化,结合立方样条曲线拟合确定关键的点(SHAP值为0时对应的点和shap值大于0的曲线上的拐点)

  6. SHAP分析展示变量间的交互作用,展示变量间的交互作用。

  7. 其它,可以加入传统的线性模型的分析方法以从不同方面展示独立危险因素;如果收集了同类变量,还可以比较同类变量之间与结局变量相关性的差异;如果得到的独立危险因素够多,可以进行预测模型的构建,否则也可以独立成文。

临床预测模型构建(从数据到应用)

临床预测模型在这里不多介绍。
技术思路:

  1. 变量的展示(表1)

  2. Boruta,Lasso等方法选择变量,传统的通过单因素分析p值的半自动方法应该淘汰了。

  3. 模型构建和评价,评价包括内部评价和外部评价,ROC曲线和校准曲线等我们已经耳熟能详的指标。这里可以是单个模型,也可以是相似结局的一组模型。

  4. SHAP分析等解释模型,这里以汇总结果为主,从整体评价变量对模型的贡献;

  5. DCA分析,比较模型间的净收益以选择模型,或者变量间的净收益来评价变量;

  6. 构建列线图或者预测模型APP,如果是APP,推荐融入SHAP分析的个体评价,对单个预测结果进行解释,可以展示变量当前值对预测结果的贡献,在临床实践中可以解析为当前患者的病因是什么;

  7. 后续,确定后续的临床措施(预测模型阳性采取的检验或者治疗措施)并进行预测模型临床影响力评价(一般是随机对照试验)。

最后

当拿到一份数据,可以先做预分析,如果得到的相关变量较多,就可以做预测模型,如果不够多,就可以考虑独立危险因素分析。

个人感觉,数据分析类的研究关键在于数据,大样本,自己收集的,有特点的数据更容易做出有意义的研究。

相关推荐
咚咚王者9 小时前
人工智能之数据分析 numpy:第十二章 数据持久化
人工智能·数据分析·numpy
c***42109 小时前
爬虫基础之爬取某基金网站+数据分析
爬虫·数据挖掘·数据分析
GIS数据转换器11 小时前
GIS+大模型助力安全风险精细化管理
大数据·网络·人工智能·安全·无人机
hg011811 小时前
今年前10个月天津进出口总值6940.2亿元
大数据
byte轻骑兵12 小时前
时序数据库选型指南:从大数据视角看IoTDB的核心优势
大数据·时序数据库·iotdb
Leo.yuan13 小时前
制造业都在说BOM,为什么BOM这么重要?
大数据·bom·企业数字化·数字赋能
能鈺CMS13 小时前
内容付费系统全面解析:构建知识变现体系的最强工具(2025 SEO 深度专题)
大数据·人工智能·html
原神启动116 小时前
云计算大数据——Nginx 实战系列(性能优化与防盗链配置)
大数据·nginx·云计算
hacker70716 小时前
openGauss 在K12教育场景的数据处理测评:CASE WHEN 实现高效分类
人工智能·分类·数据挖掘
周全全16 小时前
基于ElasticSearch的语义检索学习-向量化数据、向量化相似度、向量化检索
大数据·学习·elasticsearch