生成AI向けパブリッククラウドサービスをつくってみた話

概要

ChatGPTの登場や普及によって生成AIという言葉が広まり、スマホさえあればAIを利用できる時代になってきました。ニーズが高まっている生成AI向けのインフラ基盤のパブリックサービスを提供するために、さくらインターネットではどのように設計構築したこと（そして困りごとも）、2024年にリリースしたGPUサービスをどのように運用していること（そして困りごとも）を本プログラムで共有し、皆さんと議論したいです。

生成AIインフラ基盤のパブリックサービスに取り組んだきっかけ
生成AIインフラ基盤のご紹介
- グローバルやローカル回線のネットワーク構成
- インターコネクト回線のネットワーク構成
- 配線設計
- 接続規格
- 今後のチャレンジ
今までに経験してこなかった規格外（想定外）の構築や運用
- スケジュール
- 構築人数と期間
- 電力/空調対策
- 騒音対策
- ケーブルやパーツの落とし穴
「話しあいたい」テーマ
- ラックの設計や配置で工夫したことありますか？（特に高負荷）
- 電源設備やPDUまわりで苦労した経験ありますか？
- 大規模構築のときはどのような体制ですか？
- 水冷ラックのネットワーク装置どうしますか？
- 配線どうしてますか？工夫していることありますか？
- サードパーティ製トランシーバの選定/検証ってどうしてますか？