それってLocal LLMじゃダメですか？―AIエージェントへの適用評価―

概要

ここ最近、各社から続々と Local LLM が発表され、導入も容易になってきました。
Local LLMは一般的なCloud LLMと比較すると、推論能力や内部知識の面では劣るものの、セキュリティ確保が容易であり、冗長性やパフォーマンスを柔軟に制御できるといった利点があります。
AIエージェントでは、MCPサーバーを介して知識注入や回答のバリデーションを随時行う仕組みを備えることができ、これにより、Local LLMでも十分な機能性を発揮できるのではないかという議論があります。
本発表では、Local LLMの性能とAIエージェントへの適用可能性を実験的に評価し、Cloud LLMとの比較を通じて、その有用性と課題を明らかにします。
Local LLMの運用的メリットを最大限に活かすための知見を共有し、今後のAIエージェント活用の方向性を探ります。
—
## Local LLMはAIエージェントで十分機能するのか？
Local LLMがAIエージェントのLLMエンジンとして十分に機能するかを評価するため、以下の試験を進めています。
– コマンド結果を適切に認識できるか
– 会話処理において期待する文脈を認識できるか
– ログ仕分けにおいて関連ログを正しくまとめられるか
– MCPの適切な選択と利用ができるか
– JANOG56で発表した〜エージェントにアラート処理を行わせ、想定どおりの結果が得られるか これらの試験結果を共有するとともに、Local LLMの得意・不得意分野や、AIエージェントにおける有用性について評価・考察します。
—
## Local LLMでの推論における非決定性の克服 論文「Defeating Nondeterminism in LLM Inference」では、推論の非決定性（回答のブレ）を処理速度と引き換えに抑制する手法が示されています。 商用LLMではこのような「性能を犠牲にして決定性を得る」実装は壁がありますが、Local LLMでは容易に実現可能です。 そこで、非決定性を克服したLocal LLMを用い、JANOG56で発表したAIエージェントにアラート処理を実行させ、従来の多数決推論手法との比較を行い、この機能がLocal LLMの活用にどのような有効性をもたらすかを評価します。
—

議論ポイント

– 実験結果を踏まえ、Local LLMはAIエージェントにおいて有用だと思いますか？
– Local LLMとCloud LLM、どちらの方が好みですか？
– 結果を元にLocal LLMとCloud LLMの使い分けやベストプラクティスについて議論を交わしたい

場所

本会議場2 グラングリーン大阪北館6F 6-1

日時

Day3 2026年2月13日(金) 11:40～12:20 (40分)

発表者

公開資料

各種情報

アーカイブ配信

本会議終了後、順次配信予定です