20241218_segmentation

参考:

  1. 使用SA模型 https://ai.meta.com/research/publications/segment-anything/
  2. 讲解生物学意义 https://www.nature.com/articles/s41593-024-01714-3#Sec13

x.0 workflow

  1. 图像分割方法识别出重要的ROI区域
  2. 计算ROI区域个数(需要计算机算法,参考论文OpenCV可以做到)
  3. 用交并比知识计算两个ROI区域的重合度,大于一定值则算叠加态

x.1 使用 segmentation anything 尝试解决

网址https://segment-anything.com/demo meta自带方式解决,


问题:红色图像信噪比很差很难分割出来;绿色图像背景信噪比较高;

解决方案:增加阈值法;高斯滤波;背景扣除;形态性滤波;

x.2 优化

  1. 使用聚类

识别数量1,不佳;

  1. 使用otsu阈值法,形态性去除背景法

彩色识别的区域数量明显上升,但是仍然有很多需要黑色的地方未识别出来。


信噪比好的图片不做处理效果也很好;

x.3 改进方法

可能原因:

查阅论文 https://ai.meta.com/research/publications/segment-anything/ 虽然训练数据集高达1 billion,但是缺少医学相关数据,且对色彩饱和度照片效果好,对信噪比较差的如生物成像效果差;

改进方法:

  1. 增加标注工作制作专用数据集
  2. 寻找更多的数据处理方法,如增加信噪比优化的方法
  3. 实验过程中增加信噪比(最立竿见影的方法),如曝光时间
相关推荐
承渊政道3 小时前
【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(开源大模型ChatGLM高级定制化应用实战)
人工智能·pytorch·python·llm·模型微调·glm
Smoothcloud润云9 小时前
PyTorch大模型权重加载与启动耗时优化实战:定位磁盘、内存与显存瓶颈
人工智能·pytorch·python·深度学习·gpu算力
databook9 小时前
从循环到向量化:NumPy提速的7个关键思维
python·数据分析·numpy
棉猴10 小时前
玩游戏学Python1-Python和pgzero库的安装
python·pygame·玩游戏·pgzero·pgzrun
诺伦10 小时前
GEO优化数据实证:78%引用流向官网的机制拆解与小品牌三步管线实战教程 | RiseClaw玄策
python·seo·geo·内容营销·ai搜索
oooost10 小时前
pytorch学习笔记1
python·学习方法
数字融合11 小时前
透明化视频孪生虚实映射一体化融合技术
人工智能·python·数码相机
jack1868911 小时前
Lovable.Dev 全栈应用快速落地实战指南
python
华研前沿标杆游学11 小时前
【标杆研学】走进茅台集团|对标学习长期主义与匠心精神
python
GitFun12 小时前
KDJ vs RSI:11年数据实测,金叉死叉输了48个点
python·股票·量化交易