JANOG54企画編成委員の浅見です。
Day2 10:15~11:15にJPRSホール(コンベンションホールA)で開催されるプログラム、「生成AI向けパブリッククラウドサービスをつくってみた話」について紹介します。今回は発表者のさくらインターネット株式会社の井上喬視さん、高峯 誠さん、平田 大祐さんにお話を伺いました。インタビューでは代表として井上さんにお答えいただいています。
上段左から 浅見、井上(プログラム委員)、高峯さん
下段左から 井上さん、平田さん
今回のプログラムを応募した理由を教えてください。
技術的側面における生成AIに関する議論や情報露出はJANOG含めて頻繁に行われてきましたが、インフラ運用面での議論や発表は少なかったと感じています。そんな中、弊社でも生成AI系のインフラを構築する機会をいただいたので、知見を自分たちだけで持っているのはもったいないと思いました。生成AIは注目されている分野ではありますが、大規模なインフラとなると携われる機会も限られ、プレイヤーも少ないのではという懸念があります。弊社のパブリッククラウドサービス「高火力」での生成AI向けGPUサーバの構築や運用実績を広く発表することで、JANOG参加者に生成AIのインフラ運用面を知ってもらう、あるいは議論できる機会になると考え、応募しました。
パブリッククラウドサービスを構築することになったきっかけを教えてください。
弊社では元々パブリッククラウドサービスとしてGPUサービスを提供しています。生成AIの発達に伴い、規模の大きい、LLM向けのクラスタのニーズが高まっているのを感じていました。お客様の要望や、社会的な要求に伴い、より大きなGPUクラスタを、元々提供していたGPUサービスの延長として構築することになりました。
参加者と議論したいポイントを教えてください。
生成AI向けネットワーク基盤を作るにあたって何が必要なのか、何に気を付けなければいけないのか、主に実際に構築や運用している立場からの知見やハマりどころを共有しつつ、解決方法についてそれぞれの立場から議論できればと考えています。特に、失敗したところ、ハマったところ、苦労したところを話せたら良いなと思っています。議論の中心としては、データセンターファシリティやケーブリング、トランシーバなどの低レイヤなところから、ネットワークのアーキテクチャ、構築などの運用面の話をしたいです。実際にサービス運用をして得られた知見をもとにした内容をお話ししたいと考えています。
参加者に向けてメッセージをお願いします。
生成AI系のネットワーク運用をしている人にはぜひ議論に参加してほしいです。これからやろうとしている人、関わりがない人でも興味があれば議論に参加してもらいたいです。単純に失敗談を聞きたいという方も歓迎です。ネットワーク基盤を構築運用する方々だけではなく、データセンター事業者や機器ベンダーの皆さんが一緒になって、今後の生成AI向けネットワークインフラを話し合いで繋いでいきましょう！！
インフラ運用面での苦労話などを伺えるということで、議論も盛り上がりそうです。当日がさらに楽しみになりました。
インタビューにご協力いただきありがとうございました！