1、准备数据
1. 数据如下：
Welcome to Beijing!
北京欢迎您！
我喜欢China!
2.创建tokenizer.txt文件并复制文本数特册摸据到该文件中，将该文件存放在./test路径中，目录结轿晃构如下。
└─test
└─tokenizer.txt
3.导入mindspore.dataset和mindspore.dataset.text模块。
import mindspore.dataset as ds
import mindspore.dataset.text as text
2、加载数据集
1.配置数据集目录，创建数据集对象。
DATA_FILE = "./test/tokenizer.txt"
dataset = ds.TextFileDataset(DATA_FILE, shuffle=False)
2.创建迭代器，通过迭代器获取数据。
for data in dataset.create_dict_iterator(output_numpy=True):
print(text.to_str(data['text']))
获取到分词前的数据：
Welcome to Beijing!
北京欢迎您！
我喜欢China!
3、数据分词
下面演示使用WhitespaceTokenizer分词器来分词，该分词是按照爹晃空格来进行分词。
1.创建tokenizer。
tokenizer = text.WhitespaceTokenizer()
2.执行操作tokenizer。
dataset = dataset.map(operations=tokenizer)
3.创建迭代器，通过迭代器获取数据。
for i in dataset.create_dict_iterator(num_epochs=1, output_numpy=True):
token = text.to_str(i['text']).tolist()
print(token)
获取到分词后的数据：
['Welcome', 'to', 'Beijing!']
['北京欢迎您！']
['我喜欢China!']