在大型语言模型（LLM）中，哪个组件负责将自然语言文本分解成更小的单元以进行理解和处理？
A. 生成器（Generator）
B. 解码器（Decoder）
C. 分词器（Tokenizer）
D. 注意力机制（Attention Mechanism）
参考答案： C
解析：Tokenizer的作用是分词，词向量编码，增加掩码等
CDA人工智能社区
工作时间：9:00-19:00
陈老师：13077998983
邮箱： edu_cda_cn@foxmail.com
