ソリューションナレッジ

AIクラスターに対応したサービス用ネットワーク構築に向けた取り組み

公開日：2023年11月30日

三井情報株式会社

はじめに

今日では、インターネットは我々の生活に欠かすことのできないインフラと言えます。そのインターネットのサービスを担う設備の一つとして、データセンターが挙げられます。今回は、近年のAI需要の高まりに対応したデータセンターを設計・構築する際に考慮が必要となる、ネットワークの構築についてMKIの取り組みを紹介します。

データセンターネットワークの変化と課題

データセンターのサービス用ネットワークを構築する基本的な考え方は、1990年代からそれほど変わっていません。一方で、使用する機器の変化や通信の高速化に合わせて変えていく必要のある部分もあります。たとえば、2000年頃はVMwareのHypervisor対応のために、vMotionの可能な広いL2ネットワークが求められました。また、2010年以降はHadoopをはじめとする分散処理型マルチノードミドルウェアの利用等によりデータセンター内のいわゆるEAST-WEST通信が増え、データセンター内の帯域要求の増大に対応する必要がありました。その結果、下図のようなL3ベースのClosネットワークが取り入れられるケースが増えてきました。

2020年以降、主にGPUを使用するAI処理ノードを大量に集積した、AIクラスターへの対応ニーズが高まってきました。その影響で、昨今のデータセンターのサービス用ネットワークは、以下に重点を置いた設計と検証が求められるようになりました。

Ethernetを主なメディアとした低遅延の実現
末端でも400Gbpsを超える広い利用可能帯域
同等のコストのマルチパスが存在する大規模AIクラスターの管理手法の確立
サーバー・光トランシーバー・イーサネットスイッチのフレキシブルなマルチベンダー化
セキュアなマルチテナントネットワークの実現
完全自動化されたサービス運用の実現

データセンター事業を行う海外の民間企業に対抗して、国内の民間企業がAIクラスター対応のサービスを実現するためには、サービスの大規模化と低コスト化を図る必要があると考えます。低コスト化を図るための方法の一つとして、システムを複数のベンダーの機器で構成する、マルチベンダー化を実現して市場競争原理を働かせることが挙げられます。しかしながら、複数のベンダーの機器でシステムを構成した場合、機器の相互接続性の検証が大きな課題となってきます。そのため、現在AIクラスターを構成する機器は、ネットワークを含み特定のベンダーの製品で構成される傾向が強いのが実情です。MKIは、機器の相互接続性を担保することでマルチベンダー化を実現することに着目しました。

MKIが取り組んでいるマルチベンダー化検証

MKIは、株式会社ウェーブスプリッタ・ジャパンの協力を得て、2023年4月からサーバー・光トランシーバー・イーサネットスイッチのフレキシブルなマルチベンダー化を実現するための調査・検証に取り組んできました。

検証を行うにあたり、NVIDIA DGX H100(*) を中心としたAIクラスターのサービス用ネットワークを構築しました。NVIDIA DGX H100は、インターフェースに様々な新しい技術が導入（下記を参照）されている一方で、NVIDIA社から同時に提供される光トランシーバーとInfiniBandもしくはイーサネットスイッチを利用した構成以外について開示されている情報が少ないため、手探りでの検証となっています。

(*)2022年に発表されたNVIDIA H100 GPUをコアとするDGX H100 systemは、コンパクトな構成に8個のGPUを有し、豊富な外部インターフェースを備えることによってマルチノードにも対応できる製品となっています。

参考：NVIDIA DGX H100の外部インターフェースの特徴

H100 GPUに連携した400Gbps帯域のインターフェースが、二つまとめて一つの物理ポートに配線されている。
物理ポートが対応している光トランシーバーのパッケージ形状は、他社では採用事例のないOSFP-RHSである。
汎用インターフェースとして用意されている物理ポートが対応している光トランシーバーはQSFP112でありCisco/Juniper/Arista等の大手イーサネットスイッチベンダーでは2023年8月現在サポートされていない。

これまでに、以下の項目について検証を行いました。

GPU連携のOSFP-RHSポートに片側OSFP-RHS、対向側QSFP-DDの400G AOCを使用し、SONiC（ネットワークOS）が動作するホワイトボックススイッチ（EdgeCore AS9726-32D)にて400G（2x200Gブレークアウト)のイーサネットモードによる運用の確認
汎用の QSFP112 ポートに QSFP28 100G AOC を使用しての 100Gbps イーサネットの接続確認

今後、以下の項目について検証を行う予定です。

GPU連携OSFP-RHSに片側OSFP-RHS、対向2xQSFP-DDの800G（2x400Gブレークアウト)AOCを使用したイーサネット接続
GPU連携のOSFP-RHSに800G対応OSFP-RHS DR8、対向に2x400G DR4を使用したイーサネット接続
汎用QSFP112ポートに400G DR4を使用したイーサネット接続

実務的な運用に向けて、単にこれらのリンクが確立されただけではなく、運用中の各種カウンター等のモニター手法、障害切り分けの作業手順等を整理し、障害の発生を前提とした運用を自動化する取り組みも進めていく予定です。また、複数ノードにまたがるアプリケーションの処理能力が最大限に発揮されるトラフィック管理など、密接にアプリケーションと連携する自動化されたネットワーク運用の確立を目指します。

さいごに

今回のコラムでは、時代とともに変化するデータセンターのサービス用ネットワークの要件と、AIクラスターに対応したネットワーク構築におけるマルチベンダー化の実現に向けたMKIの取り組みをご紹介しました。MKIでは、時代のニーズにあわせたサービスをお客様に提供できるよう、今後もネットワーク領域の調査・検証を進めていきます。