Capordia141GBを何が占めているかを測る
このHopper構成は141GBのHBM3eメモリを備えています。常駐データ、一時的なワークスペース、各アクティブタスクが消費するメモリに分けて、必要な容量を分解してください。推論サービスの場合、特に長いリクエストや同時到着をテストしてください。1日の平均値は、サイジングを左右するピークを簡単に覆い隠してしまいます。
測定値に基づいてジョブの受け入れ上限を設定してください。目標は、アプリケーションが受け入れられる処理量を把握し、その変動に備えた余裕を確保することです。正しくロードできるモデルが、運用の処理速度に耐えられることをまだ証明したわけではありません。
80GB構成からの移行
まず、以前の環境と同じデータセットと同じパラメータで再実行してください。次に、データのバッチサイズ、入力長、並行処理の中から一度に1つの要素だけを増やしてください。そうすれば結果の変化を原因に結び付けられ、次のチームに分かりやすい手順を引き継げます。
H100かH200か：制約に応じて選ぶ
80 GBのH100 SXMは、ワークロードとそのマージンが既にこの枠内に収まっている場合の選択肢として残ります。カードあたりの容量がボトルネックとなる場合に、H200は特に検討に値します。ただしメモリだけでは計算時間を予測できないため、構成を比較する際は同一のプロトコルを維持してください。
各期間に目標を設定する
3日間では、メモリのピークを中心とした受け入れ準備を行います。7日間では、チームの勤務時間を代表する複数の時間帯を設定します。30日間では、期間終了を待つのではなく、定期的なチェックと結果のエクスポートを定めます。
レンタルは、期間、ロット、環境を選択し、注文連絡先を入力して準備します。各ロットはH200 1基に相当します。受入基準とともに注文内容を保管しておくと、注文した容量と実際に計画した作業を容易に照合できます。