Token是什麼?AI 為什麼用它計費、怎麼換算
AI 的 Token是什麼?一個 token 大約是多少字、為什麼 AI 服務用它計算用量與費用、上下文視窗又是什麼,整理官方說明與 4 個節省用量的習慣。
今年雙 11,對岸的電商平台出現一個新商品:AI 的 Token。聯合新聞網報導,天貓在 9 月上線了「Token 充值中心」,多家大模型廠商推出月卡與儲值方案,消費者開始「囤詞元」。
詞元,就是 token 的中文譯名。用 AI 的人遲早會遇到這個字:用量上限用它算,API 費用用它算,「對話太長請開新對話」的提示也跟它有關。這篇用最白話的方式說明 token 是什麼,以及一般使用者需要在意到什麼程度。
Token 是什麼
AI 語言模型不是一個字一個字讀文章,而是先把文字切成一小塊一小塊,每一塊就是一個 token。
- OpenAI 的官方說明把 token 形容成「字詞的片段」,切的位置不一定剛好在單字的邊界上,可能包含空格,也可能只是半個單字。
- Anthropic 的官方詞彙表則說,token 是語言模型處理的最小單位,可能對應一個單字、單字的一部分、一個字元,甚至更小的位元組。
所以 token 不等於「字」,也不等於「單字」,它是模型自己的計量單位。你輸入的問題會被切成 token,它回答的內容也是一個 token 一個 token 產生出來的。
一個 token 大約是多少字
英文有官方提供的概略換算:
| 項目 | 概略換算(英文) | 來源 |
|---|---|---|
| 1 個 token | 約 4 個英文字元,或約 3/4 個單字 | OpenAI |
| 100 個 token | 約 75 個英文單字 | OpenAI |
| 一段文字 | 約 100 個 token | OpenAI |
| 1 個 token(Claude 較早的模型) | 約 3.5 個英文字元 | Anthropic |
有兩件事要注意:
- 不同模型切法不同。 Anthropic 說明,較新的 Claude 模型換了新的切法,同一段文字會比舊模型多出大約三成的 token。也就是說,同一篇文章在不同模型上的 token 數並不一樣。
- 中文沒有官方的固定換算。 OpenAI 只說明切法會因語言而不同,並指出英文以外的語言,token 與字元的比例通常比較高,用起來也比較貴。它舉的例子是西班牙文的「Cómo estás」,10 個字元就用了 5 個 token。
網路上流傳各種「一個中文字等於幾個 token」的數字,但會隨模型而變。想知道確切數量,最準的方法是用該服務提供的計算工具實際算一次,例如 OpenAI 的 Tokenizer,或 Anthropic 的 token 計算功能。
為什麼 AI 用 token 計費
因為 token 就是模型實際的工作量。讀進多少 token、產生多少 token,直接對應到它要做多少運算。用 token 計算,比用「幾則訊息」或「幾個字」更貼近實際成本。
一般來說會遇到兩種情況:
- 透過 API 使用(開發者或串接工具): 通常依 token 數量計費,而且輸入和輸出分開算。
- 一般的聊天訂閱方案: 多半是固定月費,再以用量額度或訊息數做限制。你不會直接看到 token,但對話越長、貼的文件越大,額度消耗得越快,背後算的仍然是 token。
各家的價格與額度規則不同,也常調整,實際數字請以官方的價格頁為準。
上下文視窗:AI 一次能「看到」多少
和 token 一起出現的另一個詞是上下文視窗(context window)。Anthropic 的說法是,它像模型的「工作記憶」,代表模型在產生回答時,能回頭參考的文字量。
上下文視窗也是用 token 計算的。它的影響很實際:
- 同一個對話裡,你之前說過的話、貼過的文件、AI 回過的內容,全部都佔用空間。
- 對話太長時,較早的內容可能不再被完整參考,回答也可能開始前後不一致。
這就是為什麼聊了很久之後,AI 有時會「忘記」你一開始交代的事。
節省 token 的 4 個習慣
- 換主題就開新對話。 舊對話的內容會一直被帶著走,話題無關時,開新對話又省又準。
- 只貼需要的段落。 要問合約的某一條,就貼那一條和必要的前後文,不要整份丟進去。
- 請它回答得精簡。 加上「100 字內」「只列重點」「用表格」,輸出的 token 也算用量。
- 長文件分段處理。 一次處理一章,比整本丟進去更穩定,也比較不會漏看,做法可以參考用 AI 讀 PDF 的 6 種問法。
需要「囤」Token 嗎
新聞裡的儲值方案是對岸電商平台上的商品。如果你之後在任何平台看到類似的 token 儲值或預購方案,下單前可以先確認這幾件事:
- 有沒有使用期限。 過期作廢的額度,囤再多也用不完。
- 綁定哪個服務、哪個模型。 token 不能跨家通用,A 家買的不能拿去 B 家用。
- 你實際的用量。 先用一兩個月,知道自己用多少,再決定要不要預付。
如果只是日常聊天、寫信、整理資料,一般的訂閱方案或免費額度通常就夠用,不需要特別去研究 token 的價格。
常見問題
Token 和字數一樣嗎?
不一樣。token 是模型切分文字的單位,可能是一個單字、半個單字或一個字元。英文大約 4 個字元是 1 個 token,其他語言的比例不同,也會隨模型改變。
中文一個字是幾個 token?
沒有官方的固定數字。OpenAI 只說明英文以外的語言,token 與字元的比例通常比較高。要知道確切數量,請用該服務的 token 計算工具實測。
為什麼對話太長,AI 會忘記前面說的話?
因為模型一次能參考的文字量有上限,這個上限叫上下文視窗,也是用 token 計算。對話越長,佔用越多,較早的內容就可能不再被完整參考。
用聊天訂閱方案,需要在意 token 嗎?
不需要計算,但知道原理有幫助:對話越長、貼的資料越多,用量額度消耗越快。換主題就開新對話,是最簡單的做法。
延伸閱讀
想把問題問得更精準,可以看AI 提示詞怎麼寫?10 個實用模板;更多教學請看AI 實用教學總整理。