LLMの言語間におけるトークン格差

LLMに「相手は人間ではなくLLMなので、読みやすさを気にせず圧縮していい」と指示すると、言語・絵文字・数式記号を混ぜた謎の圧縮テキストを自発的に生成する。例えば光合成の説明だと以下のようなテキストが出てくる。自然言語だと45トークン必要だが、以下の書き方だと11トークンまで圧縮できる。

これはBabelTele（バベルの電文）と呼ばれる。[1]。生成されたものを別のLLMに読ませると、元の意味をほぼ取り違えず、答えを返す。元のテキストを27.9%まで圧縮しても、意味の保持率は99.5%だった。人間の正解率は56%→36%に落ちるが、Gemini 3.1 Proは90%→97%と、むしろ上がっている。受け手がLLMなら、電文は人間に読める形をしていなくてよい。

言語には、多くの情報が乗っている。記されてきた時間や痕跡、声に出したときの音の印象、読みやすさ、その言語でしか表現できないニュアンス。人間にとって、これらは基本的には言語と切り離せないと考えられている。だがLLMは文章を受け取ると、それをいったん数に変える。文章は、トークンと呼ばれる単位の列に分割される。そして、トークン数は言語によって異なる。

インド南東部のアーンドラ・プラデーシュ州の州言語であるテルグ語でChatGPTを利用した場合、英語で利用した場合と比べ、5倍多くはらう計算になる、という調査結果がある。

ワシントン大学の研究者らが2023年に行ったリサーチだ。22の言語に翻訳した同じ意味の文章を、当時のOpenAIのAPIに通し、トークン数を比べた[2]。ラテン文字を使わず、ネット上の学習データも英語ほど多くない言語では、同じ内容が英語の5倍ほどのトークン数になった[2]。トークン課金では、トークンの数がそのまま請求額になる。

英語ならば、短い単語ならば1トークンにおさまることが多い。テルグ語では、同じ意味がもっと細かく刻まれる。料金はこの「刻まれる数」で決まる。処理にかかる時間も、一度に扱える分量も。

同じ内容を送るのに、必要なトークンの数は言語によって一桁違う。

オックスフォード大学の研究者らは、200以上の言語の対訳データで、トークン数を比較した[3]。2023年当時のGPT-4とChatGPTが使っていたトークナイザ（cl100k）では、ポルトガル語で英語の1.5倍、イタリア語で1.6倍、ブルガリア語で2.6倍、アラビア語で3倍。ミャンマー・シャン州のシャン語にいたっては、英語の15倍のトークンを必要とした[3]。ブータンのゾンカ語、インド東部のオディア語やサンタル語も、英語と比較して12倍以上のトークンを消費する[3]。

トークンの倍率には一定の規則性がある。ラテン文字の言語は倍率が低く、ラテン文字以外の言語は高い傾向にある。これらのトークン倍率は、ある意味においては、為替レートに似ている。基準の通貨が英語で、同じ一文の意味に、ポルトガル語では1.5倍、シャン語では15倍の値がつく。

トークン数によって変動するのは利用料金だけではない。

オックスフォード大学の研究者らによる計測では、トークンが多い言語ほど、処理にも時間がかかった。シャン語の処理時間は、英語のおよそ2倍になるという[3]。

一度に渡せる分量も変動する。LLMには、一回の応答のために受け取ることができる入力の上限がある。チャットの画面に長い文書を貼り付けるときも、APIで文章を送るときも、上限を超えた分は読まれない。この上限は、文字数や単語数ではなく、トークン数で決まっている。そのため、同じ内容が多くのトークンに分割されてしまう言語ほど、すぐに上限に達する。一つの枠に対して、ビルマ語やゾンカ語で入力できる内容は、英語の10分の1に満たない[3]。

入力量が少ないと、できることも減る。ワシントン大学の研究者らによる調査では、2023年当時のChatGPTの上限だった4,096トークンの枠に、テルグ語やアムハラ語（エチオピアの公用語）では、お手本の例文を一つも入れられないことが多かったという[2]。例を見せてから答えさせる。英語のユーザーが当たり前に実施する手法が、アムハラ語では当時、使用できなかった。

トークン数に差があっても、答えの中身までは変わらないはずだ、と思うかもしれない。窓が狭かろうが処理が遅かろうが、同じモデルが同じ知識で答えるのだから、最終的に受け取るものの品質に差異はないだろう、と。

しかし実際は、正答率まで下がる。アフリカの言語でLLMに質問する場合、英語で質問するよりも正答率が低い。

ゲイツ財団の疾病モデリング研究所の研究者らは、16のアフリカ言語で、選択式の問題9,000問をLLMに解かせた。そして、単語あたりのトークン数と正答率の関係を調べた[4]。トークンが多い言語ほど、正答率は下がった。下がり方には幅があり、トークンが一つ増えるごとに8から18ポイント落ちる[4]。アフリカ言語の正答率は、平均すると英語より25ポイント低い[4]。

もっとも、トークン数の多さで説明できるのは、正答率のばらつきのうち2割から5割にとどまる[4]。トークン数が多ければ必ず正答率が低くなる、という関係ではないようだ。

同じ研究では、答えを出す前に考える手順を書き出すタイプのモデル（DeepSeekやo1など、推論モデルと呼ばれる）が、いきなり答えるモデルよりも、アフリカの言語で8から12ポイント高い正答率を出した。なぜ差が縮むのかまでは、この研究では説明されていない。前の世代で25ポイントあった差は、この世代でほぼ半分に縮んだ。

テキストを何個のトークンに切り分けるか。それを決めるものは何か。

トークン数は、語彙と呼ばれる、「言葉の一覧表」で決まる。トークナイザは、どの文字列をひとまとまりのトークンとして扱うか、その対応を一覧にして持っている。英語なら "the" や "ing" のような頻出する語彙が登録されている。テキストは、この一覧に載っている文字列のうち、いちばん長い文として切り取ることができる形を選択する。長い文が一覧に載っていれば、それをまるごと1トークンにできる。載っていなければ、より短い単語として分割するしかなく、そのぶんトークンの数が増える。

一覧表は、BPE（バイトペア符号化）という手順を通して自動的に作成される。大量のテキストを集め、そのなかでよく隣り合う傾向にある文字の並びを拾い、ひとまとまりとして登録する。これを数十万回繰り返し、語彙を育てていく。登録に使用されたテキストがどのように偏っているかにより、掲載の傾向が決まる。

同じデータを、同じだけ読ませれば、差はもっと縮むかもしれない。米国の研究組織EleutherAIの研究者キャサリン・アーネットたちはそう仮説を立て、97の言語でおよそ7,000のトークナイザを一つずつ訓練した。読ませるデータの量も、語彙の総数も、実装も揃えた。それでも、言語によるトークン数の差は消えなかった[5]。この差の主な要因となったのは、「トークナイザを訓練するときに読ませたデータ」と「実際にトークン数を測るのに使った文章」が、どれだけ似ているか、という点だった。似ていない言語ほど、差が大きかった[5]。

似ているかどうかが原因なら、対策は単純に思える。英語とそれ以外の言語で、意味がぴったり同じ文章のペアだけを使って訓練し直せばいい。実際にやってみると、差はたしかに縮んだが、トークン数全体のわずか1％程度だった[5]。

トークン格差の縮小に寄与したのは、別の対策だった。一つは、言語ごとに語彙の項目数を、その言語に合った量に調整すること。もう一つは、単語の間の空白をまたいで一つのトークンを作れるように、仕組みを変えることだった。この二つの対策を施すと、言語ごとのトークン数のばらつきが、統計的にはっきりと小さくなった[5]。数値の減少幅そのものは論文に明記されていない。

文字体系のレベルでも、格差が発生する。コンピュータは文字を扱う際、UTF-8という規格に基づいて、いったん「バイト」という数値の列に変換する。このとき、1文字あたりに費やされるバイト数は文字体系によって異なる。ラテン文字は1バイト、漢字は3バイト。トークナイザが分割するのはこのバイトの列なので、1文字に多くのバイトを使う文字体系ほど、トークンの数も増えやすい。文字単位で測ると、ビルマ語やチベット語は、中国語の4倍を超えるバイトを使う[3]。

この手法そのものを変えようという提案もある。プラハのカレル大学とワシントン大学のチームが2024年に提案したMYTEという手法は、バイトの割り当て単位を、文字から形態素（意味を持つ最小の単位）に変える。このチームが99の言語で比較したところ、すべての言語でMYTEのほうが、同じ内容を表すのに必要な符号が短くなった。改善が最も大きかったのは、非欧州の言語と非ラテン文字だった[6]。

ある言語がいくつのトークンに分割されるかは、語彙を組んだデータと、文字にバイトを割り当てる規格、この二つの重なりで決まる。どちらも、その言語が世界でどう書かれ、どう読まれてきたかとは、ほとんど関係がない。

ワシントン大学の研究者らによる計測によれば、ある言語におけるトークンの分割のされ方と、その言語が話される国の人間開発指数（HDI）のあいだに、強い負の相関があったという[2]。経済的に豊かでない国の言語ほど、細かく分割され、トークン数が嵩む。

これはリサーチの中で「二重の不公平（doubled unfairness）」と呼ばれている[2]。細かく分割される言語ほど、同じ内容を送るのに多くのトークンを使い、その分多く請求される。そして、ここまで見てきた通り、必要とされるトークン数が多い言語ほど、LLMの正答率も低い。高く支払い、質の低い答えを手に入れる[2]。

こうした負担は、使う量が増えるほど重くなる。モデルを訓練する計算量は、入力の長さの二乗で増える。したがって理論上は、単語あたりのトークンが2倍になれば、訓練のコストは4倍にふくらむ[4]。使う段階でも、トークンの数がそのまま費用になる。

こうした状況は一度、改善された。

2024年5月、OpenAIはGPT-4oとともに、語彙を10万から20万に倍増した新しいトークナイザ（o200k）を出した。その効果は主に、英語以外に及んでいた。マイクロソフトの技術ブログによる分析では、インドの言語におけるトークン削減が顕著だったという。マラヤーラム語はトークン数が約4分の1になり、カンナダ語は79%減、テルグ語も77%減った[7]。インドの22の公用語で、GPT-4o・GPT-4に加えSUTRAなどインド言語に特化したトークナイザも含めて比較した研究がある。GPT-4は公用語の22言語のどれでも、最も効率的なトークナイザにはなれなかった。しかし、改善されたGPT-4oは22言語中5言語で最も効率的なトークナイザとして評価された[8]。

ただし、インドの公用語においてもトークン格差はみられた。カシミール語の効率化は37.7%にとどまり、マニプリ語にいたっては、改善が見られなかった[7]。

OpenAIの改善はここで止まった。

OpenAIのトークナイザライブラリtiktokenのモデル対応表を見ると、GPT-4oも、GPT-4.1も、o1も、o3も、そしてGPT-5も、みな同じo200kに割り当てられている[9]。オープンソース版モデル群gpt-oss用に特殊トークンを足した版（o200k_harmony）もあるが、通常のテキストを分割する語彙と結合規則については、o200kをそのまま継承している[9]。

語彙ファイルは公開されていて、20万のトークンを文字体系ごとに分類した解析ブログがある。ラテン文字が11万8902個、全体の59.5%を占める。中国語・日本語・韓国語の文字は、合わせて3.6%だったという[10]。

tiktokenのソースコードの中には、o200kを定義する関数のすぐ下に、開発者のコメントが残っている。もっと効率化できる、自分が担当していたら、ほかにもいくつか違うやり方をしただろう、と述べたうえで、こう続く[9]。

同様の申し立ては、Anthropicの製品に対してもなされている。開発者向けツールClaude Codeのリポジトリに、2026年2月、韓国語ユーザーからの報告が投稿された。韓国語や日本語、アラビア語といった非ラテン文字の言語は、英語に比べて2倍から3倍多いトークンを消費するという内容だ。投稿者はMaxプラン（Claude Codeの上位契約）のユーザーで、使用量が特に多いわけではないのに、韓国語で書いているという理由だけで週の利用上限に早く達すると述べている[11]。

米国の研究組織EleutherAIの研究者キャサリン・アーネットたちは、言語ごとに最適な語彙の大きさを選び、区切り方を変えるだけで、トークンの不平等を均せることを示した[5]。2026年6月には、シンガポール国立大学を中心とするチームが、公平性をうたうトークナイザの3系統を、東南アジアの11言語で初めて同一条件で比較した。言語間のトークン化の公平性を高めても、トークン化全体の効率は落ちない、というのが結論だった[12]。「公平にすれば効率が犠牲になる」という予想は、実測では裏付けられなかった。

トークナイザそのものをなくす方向も検討されている。メタの基礎AI研究部門FAIRのチームが2024年末に発表したBLT（Byte Latent Transformer）は、あらかじめ一覧表を作らない設計の言語モデルだ。バイトの列をその場で動的にひとまとまりになるよう束ねていく。性能をLlama 3と同水準に保ちながら、推論の計算量を最大で半分近くまで減らせる[13]。

固定の語彙がなくなれば、英語向けの文字列が一覧表の大半を占める、という土台そのものが要らなくなる。ただし現時点では性能に不安がある。BLTは訓練データが少ない条件だと、実際のタスクの正解率が他の方式より低かった[12]。

誰が数えられ、誰が数えられないか。こうした線引きについては、長く議論されてきた。統計に載らない人、調査からこぼれる人、制度が見落とす人。包摂の議論は、誰を数に入れるかを問うものだった。

トークナイザの問題は、その手前にあるように見える。数に入るか入らないか以前に、数える単位そのものに、言語ごとに違う値がついている。同じ「1トークン」という単位だが、言語によって中身の重さが違う。

冒頭の実験の話を思い出してみる。バベルの電文。機械どうしなら、人間に読めない電文でも意味は通った。それは、人間が言語に託してきたものを全部降ろした、いちばん身軽な記号のやりとりのように見える。だが、あの圧縮された列も、モデルに入る手前でトークナイザを通過する。何個のトークンに分割されるかは、列に混ざる文字がどの文字体系か、一覧表のどこに載っているかで決まる。機械どうしが会話する言葉にも、トークン格差は織り込まれている。

ニュースレターは無料でも購読できます。よろしければ。

[1] Jiayi Zhu, Haoxuan Peng, Junxi Wang, Liang Ke, Chen Zhang, Linfeng Zhang, "Large Language Models Do Not Always Need Readable Language," arXiv:2606.19857, 2026. https://arxiv.org/abs/2606.19857

[2] Orevaoghene Ahia, Sachin Kumar, Hila Gonen, Jungo Kasai, David R. Mortensen, Noah A. Smith, Yulia Tsvetkov, "Do All Languages Cost the Same? Tokenization in the Era of Commercial Language Models," Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP 2023), pp. 9904–9923. arXiv:2305.13707. https://arxiv.org/abs/2305.13707

[3] Aleksandar Petrov, Emanuele La Malfa, Philip H. S. Torr, Adel Bibi, "Language Model Tokenizers Introduce Unfairness Between Languages," Advances in Neural Information Processing Systems 36 (NeurIPS 2023). arXiv:2305.15425. https://arxiv.org/abs/2305.15425

[4] Jessica M. Lundin, Ada Zhang, Nihal Karim, Hamza Louzan, Guohao Wei, David Ifeoluwa Adelani, Cody Carroll, "The Token Tax: Systematic Bias in Multilingual Tokenization," Proceedings of the 7th Workshop on African Natural Language Processing (AfricaNLP 2026), pp. 103–112. arXiv:2509.05486. https://arxiv.org/abs/2509.05486

[5] Catherine Arnett, Tyler A. Chang, Stella Biderman, Benjamin K. Bergen, "Explaining and Mitigating Crosslingual Tokenizer Inequities," Advances in Neural Information Processing Systems 38 (NeurIPS 2025). arXiv:2510.21909. https://arxiv.org/abs/2510.21909

[6] Tomasz Limisiewicz, Terra Blevins, Hila Gonen, Orevaoghene Ahia, Luke Zettlemoyer, "MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling," Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pp. 15059–15076, 2024. arXiv:2403.10691. https://arxiv.org/abs/2403.10691

[7] Microsoft Community Hub, "Exploring the New Frontier of AI: OpenAI's GPT-4-o For Indic Languages," May 21, 2024. https://techcommunity.microsoft.com/blog/azure-ai-foundry-blog/exploring-the-new-frontier-of-ai-openais-gpt-4-o-for-indic-languages/4142383

[8] Sagar Tamang, Dibya Jyoti Bora, "Evaluating Tokenizer Performance of Large Language Models Across Official Indian Languages," arXiv:2411.12240, 2024. https://arxiv.org/abs/2411.12240

[9] OpenAI, tiktoken, tiktoken_ext/openai_public.py および tiktoken/model.py（GitHubリポジトリ）. https://github.com/openai/tiktoken

[10] Metehan Yesilyurt, "Reverse-Engineering the OpenAI's GPT-5 Tokenizer: What 200,000 Tokens Reveal About AEO/GEO," metehan.ai, February 13, 2026. https://metehan.ai/blog/reverse-engineering-the-gpt-5-tokenizer-aeo-geo/

[11]GitHub, "[Feature Request] Non-English users (Korean/Japanese/Arabic) face unfair token consumption due to tokenizer inefficiency," anthropics/claude-code, Issue #26401, February 17, 2026. https://github.com/anthropics/claude-code/issues/26401

[12] Kieron Seven Jun Wei Lee, Muhammad Reza Qorib, Andrew Ivan Soegeng, Hwee Tou Ng, "Equity with Efficiency: An Empirical Study of Tokenizers for Multilingual Large Language Models," arXiv:2606.15044, 2026. https://arxiv.org/abs/2606.15044

[13] Artidoro Pagnoni, Ram Pasunuru, Pedro Rodriguez, John Nguyen, Benjamin Muller, Margaret Li, Chunting Zhou, Lili Yu, Jason Weston, Luke Zettlemoyer, Gargi Ghosh, Mike Lewis, Ari Holtzman, Srinivasan Iyer, "Byte Latent Transformer: Patches Scale Better Than Tokens," arXiv:2412.09871, 2024. https://arxiv.org/abs/2412.09871