Pytorch项目,肺癌检测项目之三

成功获取到数据之后,我们需要将数据放到Pytorch里面去处理,我们需要将其转换成Dataset数据集,方便去使用相同的API。要转换成Dataset数据集需要实现两个方法,方法一: 方法二:

运行比较慢的话,需要加入缓存 的方法:

缓存部分

@functools.lru_cache(1,typed=True)

def getCt(series_uid):

return Ct(series_uid)

@raw_cache.memoize(typed=True)

def getCtRawCandidate(series_uid,center_xyz,width_irc):

ct = getCt(series_uid)

ct_chunk,center_irc = ct.getCtRawCandidate(center_xyz,width_irc)

return ct_chunk,center_irc

def len(self):

return len(self.candidateInfo_list)

def getitem(self,ndx):

candidateInfo_tup = self.candidateInfo_list[ndx]

width_irc = (32,48,48)

candidate_a,center_irc = getCtRawCandidate(candidateInfo_tup.series_uid,candidateInfo.center_xyz,width_irc)

#转换为张量

candidate_t = torch.from_numpy(candidate_a)

#转换为浮点数

cadidate_t = candidate_t.to(torch.float32)

#进行升维

cadidate_t = candidate_t.unsqueeze(0)

#处理标注信息

post_t = torch.tensor([not candidateInfo_tup.isNodule_boool,candidateInfo_tup.isNodule_boool],dtype=torch.long)

#返回资源组

return (candidate_t,post_t,candidateInfo_tup.series_uid,torch.tensor(center_irc))

使用Dataset提供的方案,将数据分割为数据集和验证集

class LunaDataset():

def init(self,val_stride=0,isValSet_bool=None,series_uid=None):

self.candidateInfo_list = copy.copy(getCandidateInfoList())

if series_uid:

self.candidateInfo_list = [x for in self.candidateInfo_list if x.series_uid == series_uid]

#是否是验证集

if isValSet_bool:

增加异常捕获信息

assert val_stride>0,val_stride

返回验证集的步长信息,步长信息就是对验证集进行切分的

self.candidateInfo_list = self.candidateInfo_list[::val_stride]

assert self.candidateInfo_list

如果不是验证集,就是训练集

elif val_stride>0:

del self.candidateInfo_list[::val_stride]

assert self.candidateInfo_list

log.info("(!r): {} {} samples".format(

self,len(self.candidateInfo_list), "Validation" if isValSet_bool else "training"

))

相关推荐
阿钱真强道几秒前
14 ThingsBoard实战:从零搭建设备配置+设备,完成MQTT温湿度上行/目标温度下行测试(对比JetLinks)
java·网络·python·网络协议
ssswywywht1 分钟前
python练习
开发语言·python
PD我是你的真爱粉1 分钟前
RabbitMQRPC与死信队列
后端·python·中间件
喵手5 分钟前
Python爬虫实战:医院科室排班智能采集系统 - 从零构建合规且高效的医疗信息爬虫(附CSV导出 + SQLite持久化存储)!
爬虫·python·爬虫实战·零基础python爬虫教学·医院科室排版智能采集系统·采集医疗信息·采集医疗信息sqlite存储
X54先生(人文科技)7 分钟前
20260212_Meta-CreationPower_Development_Log(启蒙灯塔起源团队开发日志)
人工智能·机器学习·架构·团队开发·零知识证明
ViiTor_AI7 分钟前
视频字幕怎么去除?5 种方法删除硬编码字幕与软字幕(CapCut 实操)
人工智能·计算机视觉·音视频
咚咚王者8 分钟前
人工智能之视觉领域 计算机视觉 第三章 NumPy 与图像矩阵
人工智能·计算机视觉·numpy
天天进步20158 分钟前
赋予 AI “手”的能力:使用 OpenClaw 自动化执行 Shell 脚本与浏览器任务
人工智能
百度智能云技术站9 分钟前
百度百舸 Day0 完成昆仑芯和智谱 GLM-5 适配,实现「发布即可用」
人工智能·开源·vllm·百度百舸
曦云沐10 分钟前
第六篇:LangChain 1.0 消息系统与 Prompt 工程:从入门到精通的完整教程
人工智能·langchain·prompt·大模型开发框架