概要
本発表では、2025年6月のInterop Tokyoで構築される大規模デモンストレーションネットワークShowNetにおいて実施予定の、生成AIが現時点で実際のところどれほどネットワーク構築・運用の役に立つのかを検証する実験と、その結果について報告します。
ここ数回のJANOGにおける発表にもある通り、生成AIの活用方法を探る流れは、当然ネットワーク運用の分野にも訪れています。一方、では生成AIがネットワークの運用にどれ程役に立つのかを検証し評価するのは簡単ではありません。例えば生成AIを適用・検証できる環境が箱庭や一部分など限定的であったり、生成された応答がどれほど有用と言えるのかを定量的に評価するのが難しいためです。
そこで2025年のShowNetでは、ネットワーク運用における生成AI利用のケーススタディとして、ShowNetの構築・運用に特化させたチャットボットを実装し、実際に多数のネットワークエンジニアに利用してもらうことでその有用性を検証・評価する実験を行います。
実装したチャットボットはMicrosoft Azure上で動作するgpt4-oをバックエンドとしており、一般的な入力(プロンプト)に対する応答の生成に加えて、次の3つの機能を持ちます:
* 今年のShowNetの設計資料や、過去のShowNetの機器設定を必要に応じて検索し参照する
* Model Context Protocol (MCP)を用いてAIが実際にネットワーク機器にアクセスし操作する
* MCPを用いてAIがShowNetのタスク管理を担うチケットシステムにアクセスし、チケットの内容を参照する
チャットボットのデモ動画: https://gist.github.com/upa/dc4546f224e397e0ab986a373ae2d993
例えば、ある機器を設定するときに「過去のこの機器のSRv6の設定を出して」と聞いてみたり、「この機器について、過去の設定と比較して、現在の設定で足りない項目を抽出して」といったことも可能です。
幕張メッセでShowNetを作りはじめてからInterop Tokyo展示会を終えるまでの約2週間、本実験に参加しこのチャットボットを利用することができるのは、ShowNetの構築に携わる専門性やスキルレベルも異なる多種多様な数百名のネットワークエンジニアたちです。実験参加者は期間中自由にチャットボットを利用し、その応答を「Good」「Bad」とその理由、で評価します。
はたしてこの2週間で、一体どのようなLLMの活用方法が生まれるのか、そしてLLMはShowNetの構築・運用にどれほど役に立つのか(または立たないのか)、この発表概要を書いている今の段階ではまだ誰にもわかりませんが、本実験を通じて得られるネットワーク運用における生成AI利用に関するユースケースは、幅広くネットワークオペレータにとって新しい知見をもたらすものと期待しています。
議論ポイント
* 生成AIの活用方法としてどのようなものがあったか、それが異なる環境ではどう役にたつのか/たたないのか、他にはどんな使い方が考えられるか
* 生成される応答の曖昧さをどう許容するか
* MCPで繋げるとよさそうなもの
* 今後実運用に生成AIを利用するときのハードルは何か
場所
大展示場1/1F
日時
Day1 2025年7月30日(水) 17:15～18:00(45分)
発表者
公開資料
その他
本プログラムはストリーミング配信予定です。
アーカイブ配信
本会議終了後、順次配信予定です。