在大语言模型领域，”Token”通常用来表示文本数据中的一个单元。在不同的语境下，一个Token可能代表一个字、一个词，或者是一个句子。
1. 什么是 Token?
在英文中，一个Token通常是一个词或者是标点符号。在一些汉语处理系统中，一个Token可能是一个字，也可能是一个词。”Token”是处理和理解文本数据的基本单元。
Prompt 学习地图 07 | 概念科普 ，什么是 Token？
Recommendeds
在大语言模型领域，”Token”通常用来表示文本数据中的一个单元。在不同的语境下，一个Token可能代表一个字、一个词，或者是一个句子。
在英文中，一个Token通常是一个词或者是标点符号。在一些汉语处理系统中，一个Token可能是一个字，也可能是一个词。”Token”是处理和理解文本数据的基本单元。