【昇思初学入门】第四天打卡

c6c6c2024-06-23 19:18

数据变换Transforms

心得体会

MindSpore提供了丰富的数据变换工具，针对图像数据可以使用如Rescale、Normalize和HWC2CHW等，且使用Compose类允许我们定义一个变换序列，并将它们作为一个整体应用到数据上。

python 复制代码

composed = transforms.Compose(
    [
        vision.Rescale(1.0 / 255.0, 0),
        vision.Normalize(mean=(0.1307,), std=(0.3081,)),
        vision.HWC2CHW()
    ]
)
train_dataset = train_dataset.map(composed, 'image')

MindSpore 还提供了处理文本数据常用步骤，分词（Tokenize）和词表映射（Lookup）

python 复制代码

# 分词
texts = ['Welcome to Beijing']
test_dataset = GeneratorDataset(texts, 'text')
def my_tokenizer(content):
    return content.split()
test_dataset = test_dataset.map(text.PythonTokenizer(my_tokenizer))
print(next(test_dataset.create_tuple_iterator()))

3.MindSpore 还支持Lambda函数对数据进行自定义处理

python 复制代码

test_dataset.map(lambda x: x * 2)