次世代GPU基盤における課題：ネットワークがボトルネックになる
GPUノードを提供する基盤の運用では、GPUに十分な計算リソースがあるにもかかわらず、期待した性能が出ないことがあります。主な要因は、計算性能ではなくネットワークに起因するボトルネックです。
特にマルチテナント環境では、ネットワーク分離のために仮想ネットワークやセキュリティ制御を組み合わせる必要があり、構成が複雑化します。その結果、データパスが長くなり、設計・運用の難易度が上がります。
さらに、これらの処理の多くはホストCPUで実行されるため、負荷の増加に伴い通信処理とアプリケーション処理が競合します。
また、分散学習で用いられるRDMAやInfiniBandでは複数のパラメータ調整が必要であり、環境やワークロードに依存するため最適化は属人化しがちです。こうした要因により、GPUリソースを十分に活用しきれないケースも見られます。
運用を難しくする要因：CPU負荷とソフトウェアスタックの複雑化
加えて、GPUドライバやRDMA関連ソフトウェアはバージョン依存が強く、組み合わせによっては不安定化や性能低下を招きます。そのため、ネットワークチューニングとあわせてソフトウェアスタックの整合性維持が必要となり、運用はさらに複雑化します。当社においても、構成変更のたびにドライバとRDMA関連ソフトウェアの組み合わせを動作検証する必要があり、これが運用上の実質的な負担となっています。
解決アプローチ：DPU/DOCAによるネットワーク処理のオフロード
こうした課題に対するアプローチとして、AIインフラではDPUとDPU上でネットワーク処理やセキュリティ処理を柔軟に制御するためのソフトウェアスタックであるNVIDIA DOCA™を活用したネットワーク最適化が注目されています。
分散処理が前提となる現在では、ノード間通信の効率がシステム全体の性能を大きく左右するため、ネットワーク設計の重要性はこれまで以上に高まっています。
従来は、仮想スイッチやセキュリティ機能などのネットワーク処理をホストCPU上で実行する構成が一般的でしたが、この方式ではCPU負荷の増加やレイテンシのばらつきが課題となります。これに対して、DPUはネットワーク処理やセキュリティ処理を専用に担うプロセッサであり、これらの処理をホストからオフロードすることが可能です。
また、DOCAはDPU上で動作するソフトウェアスタックであり、パケット処理の流れを柔軟に定義できるDOCA Flowなどの機能を提供します。制御はソフトウェアで行いながら、実際のデータ処理はハードウェアで実行することで、高い柔軟性と性能を両立できる点が特徴です。これにより、ホスト側の構成はシンプルになり、ノード間の差異や設定のばらつきを抑えやすくなります。さらに、既存の仮想ネットワーク技術と組み合わせることで、大きな構成変更を伴わずに段階的な導入が可能です。当社が直面しているソフトウェアスタックの複雑化やホストCPU負荷といった課題に照らすと、DPU/DOCAはアプローチの選択肢として参照しうる技術の一つと考えています。
まとめ：GPU性能を引き出す鍵はネットワーク設計にある
このように、ネットワーク処理の役割をホストから切り離し、専用のハードウェアに委ねるというアプローチは、性能面だけでなく、構成の単純化や運用負荷の軽減にもつながる可能性があります。今後大規模・複雑化する次世代GPU基盤アーキテクチャにおいては高速化だけではなく、当社では構成の柔軟性や運用性をどう確保するかが重要な論点になると考えており、DPU/DOCAのようなアプローチはその観点から注目すべき技術の一つとして、他の手段とあわせて引き続き動向を注視していく考えです。 
内田
イノベーション推進部
AI・GPU基盤や仮想化・コンテナ基盤のインフラ領域を担当。
現在は、プライベート型生成AI基盤提供サービス運用に従事
三井情報グループは、三井情報グループと社会が共に持続的に成⻑するために、優先的に取り組む重要課題をマテリアリティとして特定します。本取組は、４つのマテリアリティの中でも特に「情報社会の『その先』をつくる」「ナレッジで豊かな明日（us&earth）をつくる」の実現に資する活動です。
コラム本文内に記載されている社名・商品名は、各社の商標または登録商標です。
本文および図表中では商標マークは明記していない場合があります。
当社の公式な発表・見解の発信は、当社ウェブサイト、プレスリリースなどで行っており、当社又は当社社員が本コラムで発信する情報は必ずしも当社の公式発表及び見解を表すものではありません。
また、本コラムのすべての内容は作成日時点でのものであり、予告なく変更される場合があります。
