首頁 / 科技生活 / 文章

科技生活

Token是什麼?AI 為什麼用它計費、怎麼換算

AI 的 Token是什麼?一個 token 大約是多少字、為什麼 AI 服務用它計算用量與費用、上下文視窗又是什麼,整理官方說明與 4 個節省用量的習慣。

· 6 分鐘閱讀

今年雙 11,對岸的電商平台出現一個新商品:AI 的 Token。聯合新聞網報導,天貓在 9 月上線了「Token 充值中心」,多家大模型廠商推出月卡與儲值方案,消費者開始「囤詞元」。

詞元,就是 token 的中文譯名。用 AI 的人遲早會遇到這個字:用量上限用它算,API 費用用它算,「對話太長請開新對話」的提示也跟它有關。這篇用最白話的方式說明 token 是什麼,以及一般使用者需要在意到什麼程度。

Token 是什麼

AI 語言模型不是一個字一個字讀文章,而是先把文字切成一小塊一小塊,每一塊就是一個 token。

  • OpenAI 的官方說明把 token 形容成「字詞的片段」,切的位置不一定剛好在單字的邊界上,可能包含空格,也可能只是半個單字。
  • Anthropic 的官方詞彙表則說,token 是語言模型處理的最小單位,可能對應一個單字、單字的一部分、一個字元,甚至更小的位元組。

所以 token 不等於「字」,也不等於「單字」,它是模型自己的計量單位。你輸入的問題會被切成 token,它回答的內容也是一個 token 一個 token 產生出來的。

一個 token 大約是多少字

英文有官方提供的概略換算:

項目概略換算(英文)來源
1 個 token約 4 個英文字元,或約 3/4 個單字OpenAI
100 個 token約 75 個英文單字OpenAI
一段文字約 100 個 tokenOpenAI
1 個 token(Claude 較早的模型)約 3.5 個英文字元Anthropic

有兩件事要注意:

  1. 不同模型切法不同。 Anthropic 說明,較新的 Claude 模型換了新的切法,同一段文字會比舊模型多出大約三成的 token。也就是說,同一篇文章在不同模型上的 token 數並不一樣。
  2. 中文沒有官方的固定換算。 OpenAI 只說明切法會因語言而不同,並指出英文以外的語言,token 與字元的比例通常比較高,用起來也比較貴。它舉的例子是西班牙文的「Cómo estás」,10 個字元就用了 5 個 token。

網路上流傳各種「一個中文字等於幾個 token」的數字,但會隨模型而變。想知道確切數量,最準的方法是用該服務提供的計算工具實際算一次,例如 OpenAI 的 Tokenizer,或 Anthropic 的 token 計算功能。

為什麼 AI 用 token 計費

因為 token 就是模型實際的工作量。讀進多少 token、產生多少 token,直接對應到它要做多少運算。用 token 計算,比用「幾則訊息」或「幾個字」更貼近實際成本。

一般來說會遇到兩種情況:

  • 透過 API 使用(開發者或串接工具): 通常依 token 數量計費,而且輸入和輸出分開算。
  • 一般的聊天訂閱方案: 多半是固定月費,再以用量額度或訊息數做限制。你不會直接看到 token,但對話越長、貼的文件越大,額度消耗得越快,背後算的仍然是 token。

各家的價格與額度規則不同,也常調整,實際數字請以官方的價格頁為準。

上下文視窗:AI 一次能「看到」多少

和 token 一起出現的另一個詞是上下文視窗(context window)。Anthropic 的說法是,它像模型的「工作記憶」,代表模型在產生回答時,能回頭參考的文字量。

上下文視窗也是用 token 計算的。它的影響很實際:

  • 同一個對話裡,你之前說過的話、貼過的文件、AI 回過的內容,全部都佔用空間。
  • 對話太長時,較早的內容可能不再被完整參考,回答也可能開始前後不一致。

這就是為什麼聊了很久之後,AI 有時會「忘記」你一開始交代的事。

節省 token 的 4 個習慣

  1. 換主題就開新對話。 舊對話的內容會一直被帶著走,話題無關時,開新對話又省又準。
  2. 只貼需要的段落。 要問合約的某一條,就貼那一條和必要的前後文,不要整份丟進去。
  3. 請它回答得精簡。 加上「100 字內」「只列重點」「用表格」,輸出的 token 也算用量。
  4. 長文件分段處理。 一次處理一章,比整本丟進去更穩定,也比較不會漏看,做法可以參考用 AI 讀 PDF 的 6 種問法。

需要「囤」Token 嗎

新聞裡的儲值方案是對岸電商平台上的商品。如果你之後在任何平台看到類似的 token 儲值或預購方案,下單前可以先確認這幾件事:

  • 有沒有使用期限。 過期作廢的額度,囤再多也用不完。
  • 綁定哪個服務、哪個模型。 token 不能跨家通用,A 家買的不能拿去 B 家用。
  • 你實際的用量。 先用一兩個月,知道自己用多少,再決定要不要預付。

如果只是日常聊天、寫信、整理資料,一般的訂閱方案或免費額度通常就夠用,不需要特別去研究 token 的價格。

常見問題

Token 和字數一樣嗎?

不一樣。token 是模型切分文字的單位,可能是一個單字、半個單字或一個字元。英文大約 4 個字元是 1 個 token,其他語言的比例不同,也會隨模型改變。

中文一個字是幾個 token?

沒有官方的固定數字。OpenAI 只說明英文以外的語言,token 與字元的比例通常比較高。要知道確切數量,請用該服務的 token 計算工具實測。

為什麼對話太長,AI 會忘記前面說的話?

因為模型一次能參考的文字量有上限,這個上限叫上下文視窗,也是用 token 計算。對話越長,佔用越多,較早的內容就可能不再被完整參考。

用聊天訂閱方案,需要在意 token 嗎?

不需要計算,但知道原理有幫助:對話越長、貼的資料越多,用量額度消耗越快。換主題就開新對話,是最簡單的做法。

延伸閱讀

想把問題問得更精準,可以看AI 提示詞怎麼寫?10 個實用模板;更多教學請看AI 實用教學總整理。

# AI# Token# 詞元# ChatGPT# Claude# AI 用量# 科技生活

你可能也會喜歡