#
章末小测验

让我们测试一下您在本章中学到了什么！

###
1.你应该什么时候训练一个新的标记器？

当您的数据集与现有的预训练模型所使用的数据集相似时，并且您希望预训练一个新模型 当您的数据集与现有的预训练模型所使用的数据集相似时，并且您希望使用此预训练模型对新模型进行微调 当您的数据集与现有预训练模型所使用的数据集不同时，您希望预训练一个新模型 当您的数据集与现有预训练模型所使用的数据集不同时，但是您希望使用此预训练模型对新模型进行微调

###
2.当使用“ train_new_from_iterator()”时，使用文本列表生成器与文本列表相比有什么优点？

这是方法 < code > train_new_from_iterator() 接受的唯一类型。 您将避免立即将整个数据集载入内存中。 这将允许 Tokenizers 库使用并行处理。 你训练的标记器将产生更好的文本。

###
3.使用“快速”标记器的优点是什么？

当你批处理大量的输入时，它可以比一个满速的标记器更快地处理输入。 快速的标记法总是比慢速的标记法快。 它可以填充和截断文本。 它有一些额外的功能，允许你将标记映射到创建它们的文本范围。

###
4.“token-classification”管道如何处理跨多个标记的实体？

具有相同标签的实体合并为一个实体。 实体的开始有一个标签，实体的持续有一个标签。 在给定的单词中，只要第一个标记具有实体的标签，则认为整个单词都带有该实体的标签。 当一个标记具有给定实体的标记时，除非标记为新实体的开始，否则具有相同标记的任何其他后续标记都被视为同一实体的一部分。

###
5.“question-answering”流水线如何处理长上下文？

实际上并不是这样，因为它在模型接受的最大长度上截断了长上下文。 它将上下文分成若干部分，并对所得结果进行平均。 它将上下文拆分为若干部分(有重叠部分) ，并在每个部分中查找一个答案的最大得分。 它将上下文分成若干部分(不重叠，以提高效率) ，并在每个部分中找到一个答案的最大得分。

###
6.什么是标准化？

这是 tokenizer 在初始阶段对文本执行的任何清理。 这是一种数据增强技术，包括通过删除稀有单词使文本更加标准。 在最后的后处理步骤中，tokenizer 添加特殊标记。 这是当嵌入的平均值为0和标准差为1时，通过减去平均值和除以标准差。

###
7.什么是子词标记化的前标记化？

这是标记化之前的步骤，应用数据增强(如随机遮罩)。 这是标记化之前的步骤，在这个步骤中，所需的清理操作应用于文本。 这是应用 tokenizer 模型之前的步骤，将输入拆分为单词。 这是应用 tokenizer 模型之前的步骤，将输入拆分为标记。

###
8.选择描述标记化 BPE 模式最准确的句子。

BPE 是一个子词标记算法，从小词汇表开始，学习合并规则。 BPE 是一种子词标记算法，从大词汇表开始，逐步从中删除标记。 BPE 标记器通过合并最常见的一对标记来学习合并规则。 BPE 记号赋予器通过合并一对记号来学习合并规则，该记号最大化了特权频繁对和较少个别部分的分数。 BPE 通过将单词分割成字符，然后应用合并规则将单词分解成子单词。 BPE 通过从词汇表的开头找到最长的子词，然后在文本的其余部分重复这个过程，将单词转化为子词。

###
9.选择适用于 WordPiece 标记模型的句子。

WordPiece 是一个子词标记算法，它从一个小词汇表开始，学习合并规则。 WordPiece 是一种子词标记算法，从大词汇表开始，逐步从中删除标记。 WordPiece 标记器通过合并最常见的两个标记来学习合并规则。 WordPiece 标记器通过合并两个标记来学习合并规则，这两个标记最大限度地提高了频繁出现的标记的分数，而这两个标记的独立部分出现频率较低。 根据模型，WordPiece 通过找到最有可能的切分符号，将单词标记为子单词。 WordPiece 通过从词汇表的开头找到最长的子词，然后在文本的其余部分重复这个过程，将单词转化为子词。

###
10.选择适用于 Unigram 标记模式的句子。

Unigram 是一个子词标记算法，它从一个很小的词汇表开始学习合并规则。 Unigram 是一种子词标记算法，它从大词汇表开始，逐步从中删除标记。 Unigram 通过最小化在整个语料库中的损失来调整词汇量。 Unigram 通过保留最频繁的子词来调整它的词汇量。 根据模型，Unigram 通过找到最可能的分割符号来将词转化为子词。 Unigram 通过将单词分割成字符，然后应用合并规则将其分解成子单词。
< > Update on GitHub