Token 在 AI 中是什么意思？

在 AI 领域，Token（令牌）是表示大语言模型所处理的输入或输出数据的基本单元。它本质上是 AI 系统将文本拆分为可管理块进行理解和处理的方式。

分词（Tokenization）将文本拆分为这些基本单元，它们可以代表一个词（"cat"）、子词（"un"、"break"、"able"）、字符或标点符号。所采用的分词方法（如基于词的分词、字节对编码 BPE）会影响词汇表的大小和处理效率。在此编码步骤中，每个 Token 都会被分配一个数字 ID，供神经网络进行处理。

Token 是 AI 核心功能的基础。模型通过预测后续 Token 来生成文本、翻译语言或回答问题。输入/输出的长度以 Token 为单位来衡量，理解 Token 之间的关系对于维持上下文至关重要。高效的分词使模型能够以经济的方式处理复杂的语言结构和多样化的词汇。