‹ 返回

AI怎麼讀文字？從token到byte，看懂語言模型的新研究

科楠老師｜圖靈學院｜2026年11月12日

 

    你可能問過AI：「這個英文單字裡有幾個相同字母？」它能寫出長篇文章，卻未必每次都數對。這不只是有趣的聊天插曲，也提醒我們：電腦處理文字的單位，與人眼看到的字母、字或詞，不一定相同。理解這個差別，能幫助我們看懂一條正在發展的研究路線：讓語言模型從更細的文字編碼出發，重新組織資訊。

 

Token是什麼？先把文字切成可處理的單位

 

    語言模型常用token作為處理單位，其中常見方式是把文字切成詞或詞的片段。你可以把它想成一套積木：有些常見組合是一塊，有些少見組合需要拆開。這是教學比喻，不代表每套模型都用同樣詞表，也不代表token就是語言學上的「詞」。研究機構Ai2在2026年10月7日的介紹，正是用固定詞表的文字片段來說明這種做法。

 

切塊本身不等於把原文刪掉；不同表示方式改變的是模型接收資訊與進行計算的路徑。因此，若遇到拼字、罕見字串或細微符號差異，不能只看它會不會談論這個主題，也要測試它是否能準確處理字串本身。說得流暢與逐項核對，是不同的任務。

 

同一句話，可能有不同切法

 

    假想我們把「山林觀察」切成「山林／觀察」，也可以切成「山／林／觀／察」。兩種表示都保留這四個字，計算單位卻不同。這裡的斜線是示意，並非任何實際模型的tokenizer輸出。要知道某個系統真正如何切分，仍須查它使用的工具，不能用肉眼猜測。

 

Byte是什麼？一個中文字不一定是一個位元組

 

    Byte通常譯為位元組。文字存入電腦，需要先依編碼規則轉成數值序列。以UTF-8為例，不同字元會使用不同數目的位元組；byte不是「英文的一個字母」或「中文的一個字」的同義詞。這項編碼原理可回查2003年11月的RFC 3629，是較早的基礎標準資料。

 

例如，依UTF-8編碼，英文字母A使用一個位元組，中文字「山」使用三個。這是本篇可重現的編碼示例，不是效能測試。它提醒我們，看到「直接處理byte」，不能理解成每個中文字都只要一步；相同畫面上的字數，也未必對應相同長度的編碼序列。

 

近期Nature研究：把既有模型改造成位元組模型

 

    2026年10月7日，《Nature》刊出同儕審查研究，提出名為byteification的轉換方法。團隊透過兩階段訓練，把既有子詞模型改造成位元組層級模型。研究報告顯示，轉換後模型在多項評估中接近來源模型，並在字元理解等任務展現優勢；這是測試條件下的成果，不表示每一項能力都提升。

 

模型也不是把所有細小單位一律交給同一套大型計算。論文架構先把byte表示聚合為可變長度的片段，再由主要模型處理，最後回到byte輸出。可以把它想成先整理零件，再分批送進工作站；這個比喻用來理解分層處理，不能代替實際架構與訓練方法。

 

圖片：一般子詞表示與位元組分組處理的教學對照

圖說：依Nature論文與UTF-8資料整理；流程經簡化，方格大小不代表實際速度、成本或模型參數。

 

這條路線以前就有人研究，新的地方在哪？

 

    位元組模型並非今年才出現。2022年《Transactions of the Association for Computational Linguistics》的ByT5論文，已研究以byte序列進行文字處理，討論計算量、速度與參數的取捨，也測試雜訊與拼寫相關任務。這是較早的重要背景，不應把它包裝成近期新發現。

 

這類路線的一個難題，是細小單位可能讓序列變長，增加處理負擔。新研究值得注意之處，是嘗試利用既有模型能力來轉換，而不只從頭培養另一套模型。對研究社群而言，這提供一種實驗方向；它是否適合特定應用，仍要看任務與實際資源條件。

 

更細，不會自動變成更懂

 

    想像閱讀一張地圖：放大後可以看見小巷，卻不保證你已經知道最佳路線。文字表示也有類似區別。細節更容易被處理，與推理正確、資料真實、知識完整之間，仍有不同問題需要解決。本文沒有把輸入單位的改變，推論成模型已具有人類式理解。

 

同樣地，能接受某種語言的編碼，不等於在那種語言上表現一樣好。若要評估繁體中文能力，可以分別測試一般閱讀、少見用字、符號與字串操作；這是本文提出的評估思路，不是引用論文已證實繁體中文全面領先。

 

讀到「更快、更省」時，先問比較條件

 

    速度比較至少要說明輸入與輸出的長度、硬體、模型規模及任務。若一份報告用token計數，另一份用byte計數，數字不能直接當成同一種產量。就像用箱數與件數衡量出貨量，必須先知道每箱裝了多少，才有機會公平比較。

 

能源或部署成本也是如此。研究提出的潛在優勢，與特定服務已實現的節省，是兩種不同主張。本文不替未經測量的產品宣稱省電比例，也不把某個測試的表現擴張成所有情境的保證。讀懂分母與條件，才能讓漂亮數字有清楚意義。

 

一個簡單的閱讀練習

 

    下次看到新模型報導，可以畫三欄：改變了什麼、實際測了什麼、哪些仍是期待。第一欄填文字單位或架構，第二欄填任務與比較對象，第三欄填尚待驗證的應用。若只能找到願景，卻找不到測試內容，就先把它留在第三欄。

 

對使用者來說，也可以把自己的工作拆開看：寫一段說明、檢查一串編號、比對兩份文字，所需能力並不完全相同。先用可核對的小樣本確認表現，再決定如何使用結果，比只靠模型名稱判斷更實際。

 

還可以準備幾組只有一個地方不同的字串，請系統逐項指出差異，再用程式或人工核對。記錄成功與失敗的例子，才能知道它對自己的工作是否可靠。這是日常測試的建議，並非正式學術基準；少量成功案例，也不足以推論所有長度與語言都會同樣準確。

 

從token到byte，看似只是文字切得大塊或小塊，背後卻牽涉表示、訓練與計算如何配合。這項研究讓我們看見，改進AI不只靠增加規模，也能重新思考它如何接觸資料。保留對新方法的好奇，同時追問證據支持到哪裡，正是理解AI進展的好起點。

 

 

參考資料

1. Minixhofer, B., Murray, T., Limisiewicz, T., et al. Retrofitting language models to operate over bytes. Nature 658, 915–922。DOI：https://doi.org/10.1038/s41586-026-11111-4 

2. Ai2. Now in Nature: Retrofitting language models to operate over bytes。https://allenai.org/blog/bolmo-nature

3. Xue, L., Barua, A., Constant, N., et al. ByT5: Towards a Token-Free Future with Pre-trained Byte-to-Byte Models. Transactions of the Association for Computational Linguistics 10, 291–306。DOI：https://doi.org/10.1162/tacl_a_00461 

4. Yergeau, F. RFC 3629: UTF-8, a transformation format of ISO 10646。https://www.rfc-editor.org/rfc/rfc3629