短い文章の要約や誤字修正は手元の小さなAIに任せ、複雑な推論や長いコードの解析は高性能なクラウドAIに送るという判断を自動化するオープンソースツール「Wayfinder Router」がGitHubで公開されています。

GitHub - itsthelore/wayfinder-router: Simple CLI tool for deterministic routing of queries between local and hosted LLM models · GitHub

https://github.com/itsthelore/wayfinder-router

AIチャットに「この文章を1文で要約して」と頼む場合と、複数の条件を満たすプログラム設計を頼む場合では必要なAIの能力が大きく異なります。軽い作業まで毎回高価なクラウドAIに送ると費用がかさみ、一方で難しい作業を小さなローカルAIに任せると回答品質が落ちるため、適切なAIモデルの選択が大切です。

AIモデルを切り替えるルーターやゲートウェイはすでにいくつか存在しますが、Wayfinderが重視しているのは「振り分けの判断にAIを使わない」という点とのこと。一般的なルーターは分類用モデルやLLM判定役を呼び出して難易度を判断する場合がありますが、判断のために追加の待ち時間やコストが発生すると、節約のための仕組みが別の負担になってしまいます。

Wayfinderは標準ではプロンプトの長さ、見出し、リスト、コードの有無といった構造的な特徴を読み取り、0.0から1.0までの複雑さスコアを算出します。設定次第では数学や証明、厳しい制約を示す言葉なども判定材料にできるとのこと。スコアが低ければローカルモデルへ、スコアが高ければクラウドモデルへ送るという仕組み。判定はオフラインで決定的に行われるため、同じ入力なら同じ結果になり、判定のためのAPIキーやネットワーク接続も不要とのこと。



導入は既存のAI利用環境の手前にWayfinderのゲートウェイを置く形です。OpenAI互換のAPIに対応しており、チャットUI、IDE補助ツール、エージェントフレームワークなどの接続先のbase_urlをWayfinderに向けるだけで、Wayfinderが背後にあるローカルモデルやクラウドモデルに自動でタスクを振り分けます。ユーザー側から見ると同じ画面で質問しているだけでも、裏側では軽い質問がOllamaやvLLMなどのローカル環境へ、重い質問がクラウドAIへ送られる形になるというわけ。

どこに送られたのか分からないと運用しにくいため、Wayfinderは回答にルーティング先モデルや複雑さスコアを示すヘッダーを付けます。また、特定の1回だけローカルに固定したり、クラウドを優先したり、しきい値を変えたりすることも可能とのこと。スラッシュ指示を有効化すると、チャット欄の先頭に「/local」「/cloud」「/auto」のような指示を書いて振り分けを操作することもできます。

Wayfinderは標準のしきい値をそのまま使うだけでなく、自分の利用傾向に合わせて調整することも想定されています。たとえば普段の質問をローカルで十分だったものとクラウドが必要だったものに分け、そのデータを使ってしきい値を調整できます。ローカルWeb UIではスコアの内訳を見たり、しきい値を動かして振り分け結果の変化を確認したりできるとのこと。

開発者はWayfinderについて「簡単なプロンプトは安いモデルに任せ、難しいプロンプトだけ高価なモデルに送ることで、要約や誤字修正に最高クラスの料金を払い続ける状況を避けられる」と説明しています。