「ローカルLLM Claude Code」で検索してこのページに来た方は、たぶんぼくと同じことを考えています。トークン不足を、ローカルで動くAIに少しでも肩代わりさせられないか。ぼくは最近、ずっとそんなことを考えていました。
ブログの記事を書くのにClaude Codeを使っているんですが、これがとにかくトークンを食うんです。ちょっと相談しただけのつもりでも、気づくと残量の目安がごっそり減っているんです。「もっとガンガン使いたいのに、トークンがすぐ無くなる」というのが、ここ最近のぼくの正直な悩みでした。
そんなときに見つけたのが、PC Watchの記事でした。8GBしかないノートパソコンのビデオカードで、35Bという大きなAIモデルが動くという内容です(「8GBのGPUで35Bモデルが高速動作！MoE特化の実行環境「FreeToken」」PC Watch・劉尭氏・2026年8月24日)。「これだ、これでClaude Codeを肩代わりできれば、トークンを節約できるんじゃないか」と、記事を読んだ瞬間に思いました。
先に結論だけ言っておきます。話はそんなに単純ではありませんでした。でも、調べて、実際に自分の会話を測ってみたことで、トークンがどこに消えているのかが、はっきり見えてきました。この記事では、次の3つを書きます。
- 見つけたニュース「FreeToken」が何なのか
- それを入れてもClaude Codeのトークンが減らない理由
- じゃあ実際、トークンは何に消えているのか。自分の会話を測った結果と測り方
8GBのノートで35Bモデルが動くと知って、ローカルLLM Claude Codeという組み合わせを考えました
まず、きっかけになった記事の中身から書きます。
PC Watchが伝えた実測値
PC Watchによれば、FreeTokenの論文を書いたカリフォルニア大学バークレー校のShuo Yang氏の実測で、次のような速度が出たそうです。
- GeForce RTX 4060 Laptop（8GB）でQwen3.6-35B-A3Bが39トークン/秒
- GeForce RTX 5090（32GB）でDeepSeek-V4-Flash 284Bが22〜25トークン/秒
- RTX PRO 6000 WorkstationでGLM-5.2 753Bが15トークン/秒
開発者の主張では、Ollamaと比べてデコードが3〜4倍、プリフィルは6〜30倍速いそうです。ぼくが特に反応したのは一番上の行でした。8GBのノートパソコンで、35Bという大きなモデルが秒間39トークンで動くそうなんです。これがもし本当なら、パソコンの中に無料で動くAIを1つ持てることになります！
FreeTokenはAIそのものではなく「箱」でした
ここ、ぼくも最初は勘違いしていたので書いておきます。FreeTokenはAIそのものではありません。AIモデルを入れて動かすための実行環境、いわば「箱」です。中に入れるモデル（Qwenなど）は別に選ぶ必要があります。ライセンスはApache 2.0で、公式サイトから無料でダウンロードできるそうです。
仕組みも軽く触れておきます。MoE（Mixture-of-Experts）というタイプのモデルは、パラメータの一部だけを使って処理するので、見かけの規模ほどメモリを食いません。FreeTokenはその「使う部分だけ」をビデオカードのメモリに読み込み、直近使っていない分をこまめに入れ替えることで、8GBという少ないメモリでも大きなモデルを動かしているようです。llama.cppのような従来の仕組みは配置が固定なので、メモリに乗り切らない分はパソコン側の処理に回ってボトルネックになっていた、という説明でした。
気になってGitHubのリポジトリ（FlashML-org/FreeToken）も覗いてみました。ライセンスは確かにApache 2.0でした。
FreeToken公式リポジトリ（GitHub・※英語サイト・自動翻訳推奨）
無料で、8GBのノートでも大きなモデルが動くそうです。これなら本当にClaude Codeの肩代わりになるかもしれないと期待しながら、気になったことがもう1つ出てきました。そもそもClaude Codeは、パソコンの中にFreeTokenが入ったことをどうやって知るんだろう。ここを調べてみることにしました。
気になったのは、Claude Codeがどこに問い合わせているのか、ということでした。
でも、Claude CodeはAnthropicのサーバーに毎回問い合わせていました
非公式に接続先を変える方法はあるけれど、それはもうClaudeではありません
Claude Codeは、手元のパソコンで動くツールですが、実際にAIとして考えている部分（会話を理解して答えを返す部分）は、Anthropicのサーバーに問い合わせに行く仕組みになっています。パソコンの中にFreeTokenを入れて何か大きなモデルを動かしても、Claude Codeがその呼び先を勝手に切り替えてくれるわけではありません。
接続先を手元のローカルAIに向け替える非公式なやり方自体は、調べれば出てきます。ただ、向けた瞬間に会話の相手はClaudeではなくなり、手元で動いているQwenなどのモデルに変わります。「Claude Codeのトークンを節約する」という話ではなく、「Claude Codeをやめて別のAIに乗り換える」という話になってしまうわけです。ぼくがやりたかったのはそちらではありませんでした。
だから今回、FreeTokenを入れてもトークンの節約にはなりませんでした
整理すると、FreeTokenをパソコンに入れても、Claude Code側のトークン消費は1トークンも減りません。入れる場所が違う、というのが正直なところです。がっかりしたのは事実ですが、ここで終わらせずに、もう一歩踏み込んでみることにしました。
実は以前、Claude CodeとNotebookLMを組み合わせて、実際にトークンを節約する手順を試した記事を書いたことがあります。あのときの工夫は今回とは別の切り口なので、興味のある方はあわせて読んでみてください。
肩代わりできないと分かった以上、次に気になったのは実際の内訳です。ぼくのトークンは、そもそも何に消えているんだろう。ここが分からないままだと、次にどう手を打てばいいかも分かりません。
では何にトークンが消えているのか、自分の会話を実際に測りました
そこで、自分の会話ログの中身を内訳ごとに数えられる簡単な仕組みを作って、ふだん使っている会話を1本、実際に測ってみることにしました。
測り方
測ったのは、記事を書く作業ではなく、ちょっとした相談だけをした会話1本です。AIへの問い合わせは85回ありました。
Claude Codeは、会話のやり取りをJSONL形式のログファイルとして、パソコンの中の~/.claude/projects/というフォルダに自動で残しています。ぼくはこのログファイルを自分で読み込んで、中身を4つに分けて集計しました。「過去の会話の読み直し」は、こちらが一言書くたびに、それまでの会話をAIが全部読み直している分です。「会話の覚え直し」は、その読み直しを次回から軽くするために、AIが会話の内容を覚え直している分です。残る2つが「AIが書いた文章」と「新しく渡した文章」で、こちらは読んで字のとおりです。同じログファイルは読者の方のパソコンにもあるので、覗いてみると似たような集計ができるはずです。
結果はこの表です
| 内訳 | トークン数 | 割合 |
|---|---|---|
| 過去の会話の読み直し | 9,114,220 | 84.2% |
| 会話の覚え直し | 1,612,234 | 14.9% |
| AIが書いた文章 | 91,576 | 0.8% |
| 新しく渡した文章 | 170 | 0.0% |
| 合計（問い合わせ85回） | 10,818,200 | 約100% |
ぼくが自分の会話ログを測った実測値です。相談だけで記事執筆をしていない会話1本を対象にしました。各行を四捨五入しているため、縦の合計は100%ちょうどにはなりません。
合計は約1,081万トークン。そのうち84.2%が「過去の会話の読み直し」、14.9%が「会話の覚え直し」で、肝心の「AIが書いた文章」はわずか0.8%でした。正直、この数字を見たときはかなり驚きました！
似たようなことを別の切り口で調べた記事もあるので、興味のある方はどうぞ。
この数字を見て、しばらく手が止まりました。
分かったこと。消えていたのは仕事の中身ではなく「読み直し」でした
AIは毎回、それまでの会話を最初から読み直しています
この結果が意味しているのは、こういうことだとぼくは理解しています。Claude Codeのようなツールは、会話が続くたびに、それまでのやり取り全部を、毎回もう一度読み直してから答えを作っています。会話が長くなればなるほど、読み直す量も増えていくんです。だから、実際に頼んだ仕事の中身（新しく渡した文章やAIが書いた文章）は全体のごく一部で、残りのほとんどは「思い出す作業」に消えていた、というわけです。
セッションの履歴をどう扱うかで、この読み直しの量が変わってくる、という話を以前の記事にも書きました。気になる方は「Claude Codeのセッション履歴は削除すべき？結論と対処法」もどうぞ。
だから動かせるのは、全体のわずか1%だけです
ここが今回、いちばん大事なところです。もし軽い仕事だけをローカルのAIに振り分けられたとしても、動かせるのは「AIが書いた文章」や「新しく渡した文章」にあたる、全体のわずか1%の部分だけということになります。読み直しと覚え直しで消えている99%のほうは、そもそもClaude Codeの外に出しようがありません。期待していたほど大きな効果は無さそうだ、というのが今のところの実感です。
今日からできる工夫を2つ書いておきます。1つ目は会話を長く続けすぎないことです。読み直しの量は会話が長くなるほど増えるので、話題が変わったタイミングで新しい会話に切り替えるだけでも、読み直し分は減らせます。2つ目は相談したい内容を最初にまとめて渡すことです。小出しに聞き返すより、必要な情報を最初にまとめて渡したほうが、やり取りの往復、つまり覚え直しの回数そのものを減らせます。
1%だけとはいえ、ゼロではありません。ここで終わらせるのはもったいない気がしています。
それでも試したい理由が2つあります
ここまで読むと「じゃあ意味ないじゃん」と思われるかもしれません。それでも、ローカルで動くAIとClaude Codeの組み合わせを諦めない理由が、ぼくには2つあります。
ネットを切っても動くこと
1つ目は、FreeTokenのようなローカルで動く仕組みは、ネットにつながっていなくても使えるということです。1%とはいえ、軽い下ごしらえの作業をネットを切ったまま手元で済ませられるなら、それはそれで意味があります。たとえば動画の文字起こしの要約のような作業は、外に出したくない情報を扱うこともありますし、いまはGeminiに頼っていて1日に使える回数にも上限があります。そのあたりを手元で肩代わりできないか、というのは引き続き気になっています。
実際にGeminiで文字起こしを試した記事はこちらです。
もう1つの理由は、もっと単純です。
手元のノートは、PC Watchの記事の実測機と同じRTX 4060 8GBでした
ぼくのゲーム用ノート、ASUS TUF Gaming A15のビデオカードは、GeForce RTX 4060 Laptop（8GB）です。つまり、PC Watchの記事でShuo Yang氏が実測したのと、同じGeForce RTX 4060 Laptop（8GB）を積んでいます。入れて動かせば、よそから借りてきた数字ではなく、ぼくの手元だけの実測値になります。これはさすがに、確かめないともったいない気がしています。
まとめ。次はこのノートに入れて試します
今回分かったのは次の3つです。
- FreeTokenを入れても、Claude Codeのトークン消費そのものは減らない
- トークンの99%は、仕事の中身ではなく会話の読み直しと覚え直しに消えている
- ローカルのAIに振れるのは、残り1%の軽い作業だけ
実際に組んで動かしたわけではないので断言はできませんが、この1%の部分を手元に逃がすだけでも、やる価値はありそうだとぼくは考えています。正直に言うと、FreeTokenはまだ自分のノートに入れていません。次にやることはもう決まっていて、実際にTUF Gaming A15へFreeTokenを入れて、軽いモデルを動かしてみるつもりです。動いたら、今度は実測値つきでまた書きます。
コメント