概要
本発表では、米国での情報収集をもとに、LLM（大規模言語モデル）の普及に伴うインフラの要求変化に対して、水冷技術がなぜ有効なのかを二部構成で解説します。
一部では、LLMの導入によるサーバワークロードの大幅増加が、データセンタのインフラにどのような影響を与えるかを探求します。特に、これまで十分に活用されていなかったデータセンタのリソースが極限まで使用されるようになり、電力、冷却能力、ネットワークにどのような影響があるかを調査します。この過程で、米国企業から得た情報に基づき、GPUサーバの最大負荷時の風量問題に焦点を当て、水冷技術を用いた場合の風量削減の可能性と限界を検証します。
二部では、GTC（GPU Technology Conference）で発表された新しいGPUサーバであるGB200 NVL72の導入検討に際し、なぜ水冷技術が必須とされているのかを米国企業から得た情報を基に解説します。この技術がネットワークの帯域不足を解決するためにどのように利用されているか、その本質に迫り、導入の必要性を詳述します。
Actapioでは、米国の「課題解決の先駆者」から入手した最新の情報をもとに技術検証を行い、最善の技術を選択しています。今回は、異なる課題を水冷技術で解決できることを検証しました。これは、米国で検証や実施を行える環境を持っているからこそ可能です。
課題の先駆者と私たちのような利用者では、差は広がる一方です。今後の未来に向けて、私たちがどうすればよいのか、一緒に議論できると幸いです。
場所
JPRSホール (コンベンションホールA)
日時
Day2 2024年7月4日(木) 11:30～12:15(45分)
発表者
事前資料
JANOG52 – Yahoo! JAPAN アメリカデータセンタとネットワーク変遷
公開資料
SLACKチャンネル
#janog54-dlc-lineヤフー米国データセンタ技術の最前線