Pytorch项目,肺癌检测项目之三

成功获取到数据之后,我们需要将数据放到Pytorch里面去处理,我们需要将其转换成Dataset数据集,方便去使用相同的API。要转换成Dataset数据集需要实现两个方法,方法一: 方法二:

运行比较慢的话,需要加入缓存 的方法:

缓存部分

@functools.lru_cache(1,typed=True)

def getCt(series_uid):

return Ct(series_uid)

@raw_cache.memoize(typed=True)

def getCtRawCandidate(series_uid,center_xyz,width_irc):

ct = getCt(series_uid)

ct_chunk,center_irc = ct.getCtRawCandidate(center_xyz,width_irc)

return ct_chunk,center_irc

def len(self):

return len(self.candidateInfo_list)

def getitem(self,ndx):

candidateInfo_tup = self.candidateInfo_list[ndx]

width_irc = (32,48,48)

candidate_a,center_irc = getCtRawCandidate(candidateInfo_tup.series_uid,candidateInfo.center_xyz,width_irc)

#转换为张量

candidate_t = torch.from_numpy(candidate_a)

#转换为浮点数

cadidate_t = candidate_t.to(torch.float32)

#进行升维

cadidate_t = candidate_t.unsqueeze(0)

#处理标注信息

post_t = torch.tensor([not candidateInfo_tup.isNodule_boool,candidateInfo_tup.isNodule_boool],dtype=torch.long)

#返回资源组

return (candidate_t,post_t,candidateInfo_tup.series_uid,torch.tensor(center_irc))

使用Dataset提供的方案,将数据分割为数据集和验证集

class LunaDataset():

def init(self,val_stride=0,isValSet_bool=None,series_uid=None):

self.candidateInfo_list = copy.copy(getCandidateInfoList())

if series_uid:

self.candidateInfo_list = [x for in self.candidateInfo_list if x.series_uid == series_uid]

#是否是验证集

if isValSet_bool:

增加异常捕获信息

assert val_stride>0,val_stride

返回验证集的步长信息,步长信息就是对验证集进行切分的

self.candidateInfo_list = self.candidateInfo_list[::val_stride]

assert self.candidateInfo_list

如果不是验证集,就是训练集

elif val_stride>0:

del self.candidateInfo_list[::val_stride]

assert self.candidateInfo_list

log.info("(!r): {} {} samples".format(

self,len(self.candidateInfo_list), "Validation" if isValSet_bool else "training"

))

相关推荐
TMT星球几秒前
云从科技AI智能体落地中冶京城,重构工程领域数字化辅助新范式
人工智能·科技·重构
云和数据.ChenGuang1 分钟前
python 面向对象基础入门
开发语言·前端·python·django·flask
啊阿狸不会拉杆3 分钟前
《机器学习导论》第 2 章-监督学习
数据结构·人工智能·python·学习·算法·机器学习·监督学习
GAOJ_K4 分钟前
弧形导轨与直线导轨:曲线运动与直线运动
运维·人工智能·科技·机器人·自动化·制造
Cult Of4 分钟前
Alicea Wind的个人网站开发日志(1)
python·vue
qq_12498707535 分钟前
基于Javaweb的《战舰世界》游戏百科信息系统(源码+论文+部署+安装)
java·vue.js·人工智能·spring boot·游戏·毕业设计·计算机毕业设计
Gavin在路上5 分钟前
SpringAIAlibaba之短期记忆与长期记忆实现原理(十一)
开发语言·人工智能
colus_SEU5 分钟前
【论文精读】Instance-Dependent Partial Label Learning
人工智能·深度学习·机器学习·pll·部分标签学习
小飞象—木兮7 分钟前
《电商运营分析手册》:定义、价值、产品规划与定价策略、指标体系与公式详解、电商运营框架、运营思维与经营复盘···(附相关材料下载)
大数据·人工智能·产品运营
Lethehong7 分钟前
一次 GLM-4.7 的 MaaS 接入实践:Dify 工作流搭建笔记
人工智能·蓝耘元生代·蓝耘maas