プライベートクラウドのデータセンターネットワークを作り直して得た知見の共有

概要

KDDIではOpenStackを活用した全社共通のプライベートクラウドの運用を開始しました。このプライベートクラウドでは5GコアやIMSなどのモバイルコアから運用システムまで、様々なシステムが仮想化され稼働しています[^1]。

このプライベートクラウドはこれまでKDDIのデータセンタで使われてきた技術やアーキテクチャを我々がこれまでにJANOGに参加して得た知見なども参考にして刷新しました。

例えばハードウェアの観点では、400GLeafスイッチを導入し、サーバとLeafスイッチは、これまでの光ケーブルによる1対1の接続構成から、DAC(Direct Attach Cable)ブレイクアウトケーブルに変更しました。アーキテクチャの観点においては、これまで3ステージ構成のClosトポロジーを用いていたところをアベイラビリティゾーンの観点やスケーラビリティの観点から5ステージに変更しました。またハードウェアの管理のための管理ネットワークにはSONiCのホワイトボックススイッチを導入しました[^2]。プライベートクラウド内部の通信も、これまでL2のネットワークが中心であった通信は、オーバレイやBGPを用いたL3ベースのネットワークに置き換え[^2]、IP Anycastによる冗長化も多用するようになりました。さらにプライベートクラウド内部で用いる通信にはIPv6を初めて導入しました。

このように既存の課題に対応するために様々な変化を行いましたが、変化には問題もつきものです。また良かれと思って選択したものが、新たな課題を生みます。例えば、導入したDACやトランシーバでは品質問題に悩まされました。そのほかにもスイッチでの経路変動に伴う負荷上昇などによるトラブルなども生じました。ECMPやAnycastに起因する考慮不足、トラブル時の切り分けの複雑さなども課題です。そのほかにも大小さまざまなトラブルに遭遇しては対処を行ってきました。

本発表では新たなプライベートクラウドの構築や運用を進める中で発生し解決してきたこれらの問題や、新たに見えた課題を共有し、これらの知識や経験を未来のエンジニアに「繋げて」いけるよう、KDDIの知見を紹介します。

関連項目:
[^1]: JANOG 55 – NFVプライベートクラウドにおける仮想ルータとBGPによる自律的仮想ネットワーキングhttps://www.janog.gr.jp/meeting/janog55/nfv/
[^2]: JANOG 52 – SONiC ZTPでデータセンターネットワークを作った話https://www.janog.gr.jp/meeting/janog52/sonicztp/

議論ポイント

## テクニカル
– DAC/トランシーバ/NICの品質問題とその対処
– DCNW内でのIP Anycastにおけるトラブル、トラブルシューティング
– IPv6の利用の推進、無理にIPv6使わなくてもいいじゃないかというご意見への対処
– ネットワークコントローラ、分散 vs 集中（どういう機能分担がよいか）
– SONiC/ホワイトボックスの活用方法、ホワイトボックス時代に求められるスキルの変化（NWエンジニアもLinuxの知識が必要になる）

## 非テクニカル
– 「巨大プロジェクト」との向き合い方（ステークホルダ、レポーティング）
– 挑戦や変化に(伴い問題が発生することに)対するネガティブな反応
– ブラックボックスな製品の中で起こる問題への向き合い方
– 人材育成、内製への変化（特にネットワークエンジニア）

場所

国際会議場/3F

日時

Day2 2025年7月31日(木) 15:45～17:00(1時間15分)

発表者

公開資料

その他

本プログラムはストリーミング配信予定です。

アーカイブ配信

本会議終了後、順次配信予定です。