Experiences with BGP in large Scale Data Centers
- 概要
Large scale data centers support heterogeneous cloud workloads that include search,PAAS/SAAS, and Hadoop-like compute and storage.The datacenter networks deployed in these data centers must scale tohundreds of thousands of server nodes while optimizing the cost per megabit of providingthe required bisection bandwidth. To meet these requirements,we deploy a Layer-Three-to-the-TOR CLOS/Fat Tree topology with multivendor switching elementsand high link density.We will discuss our use of BGP as the only routing protocol in this network.BGP provides scalability, stability, and reliability, and is well supported by multiple vendors.Using a BGP speaker, a path computation engine, and a controller hostedin a virtualized server environments,we will show how we can leverage BGP’s standard feature set to implement a hybrid SDN solution.
大規模なデータセンターでは、検索エンジン、PaaS/SaaS、Hadoopのようなハイパフォーマンスコンピューティング、あるいは大容量ストレージなど、多種多様なサービスが稼働しています。こうしたデータセンターを実現するネットワークは、帯域やコストといった要件を満たしつつ、数10万台規模のサーバを収容できるようにスケールしなければなりません。このため我々は、高密度な三階層CLOS/Fat Treeトポロジーのデータセンターネットワークをマルチベンダ構成で設計、構築しました。ルーティングプロトコルとしてはBGPだけを使っており、このことがスケーラビリティ、安定性、信頼性、マルチベンダ構成の実現を容易にさせています。
このネットワークを制御するためにHybrid SDNシステムの実装を仮想マシン上で行っています。本システムはBGP speaker, Path Computation Engine, Controller等のコンポーネントで構成されていますが、システムから行うルータの制御にはBGPの標準機能だけを使っており、この実装をどのように行っているかをご覧いただきます。
- 発表者
Edet Nkposong (Microsoft)
Tim LaBerge (Microsoft)
Naoki Kitajima (Microsoft)
- 資料
- 資料: Experiences with BGP in Large Scale Data Centers: Teaching an old protocol new tricks (English) (Nkposong, LaBerge, Kitajima)資料: Experiences with BGP in Large Scale Data Centers: Teaching an old protocol new tricks (日本語) (Nkposong, LaBerge, Kitajima)
- 議論ログ
- Q: 会場からの質問A: 発表者からの回答/コメントC: 会場からのコメント
Q: 3層折り返し構造のプロトコルはiBGPでは無く、何故eBGPなのか? Spineの追加の時のオペレーションは? そこはRRなのか。
A: eBGPを使ってると階層化が作りやすい。またトラブルシューティングの観点から見ても非常に管理しやすい。2つ目の質問も同様でeBGPを使うが、我々はデータセンターを作る時に足すときには一部分を足すという運用はあまりしておらず、一気にクラスタ全体を作る。
C: コメントです。Twitterをチェックをしていました。オペレーターの皆さんが非常に興奮していたのが感じられた。BGPを使用し、かつコントローラーを使うという事で、何かあった時も自律的に動作出来るというアーキテクチャーに非常に肯定的な意見が聞けました。
Q: 32ビットのAS番号はまだ出来ないというコメントがあったが、実は既に使ってたりするのか?
A: 実際的にはベンダーの実装に縛られるので、32ビットAS番号はまだ使っていない。
Q: つまり将来的には設計が大きく変わるのか?
A: その時点での機器の実装などにより、ベストのものを選択している。もちろんベンダーの実装が変われば我々の設計も変わる事は考えられる。
