192GBはどの作業範囲に対応するか?
AMD Instinct MI300XはCDNA 3をベースとし、192GB HBM3を搭載しています。この容量により、より小型のカードの枠を超える処理を検討できますが、特定のモデルが収まるかどうかを結論づけるものではありません。重み、アクティブなデータ、一時領域を、実際の数値精度とパラメータで評価してください。
CUDA依存関係を洗い出す
ROCm上のPyTorchはtorch.cudaインターフェースの一部を再利用します。したがって、プログラム内にこの名前があるからといって、非互換や完全な移植性を証明するものではありません。特に、コンパイル済みのCUDA拡張、外部ライブラリ、処理が依存する特定の演算を確認してください。
ハードウェア、システム、フレームワークを対応付けるには、ROCmの互換性マトリクスを参照してください。読み込みテスト、短い実行、そして期待される結果の比較を用意します。キャンペーンを延長する前に、許容できる差異を業務責任者と記録しておきましょう。移行はその出力の妥当性でも評価されます。
NVIDIA構成を維持すべき場合
必須のコンポーネントがCUDAに結びついたままで、プロジェクトで検証済みの代替版が利用できない場合、H200 SXM 141GBが検討すべきもう一つの選択肢です。このMI300Xよりもカードあたりのメモリは少ないですが、移植の範囲を限定できます。発表された容量だけでなく、移行コストとそのスケジュールを比較してください。
移植と本番キャンペーンを分離する
重要な依存関係を中心に3日間の期間を、代表的な作業セットを中心に7日間の期間を、あるいはすでに検証済みのチェーンを中心に30日間を設定します。受け入れを通過しないタスク用の復旧手段を用意してください。
コンフィギュレーターで、期間、ロット、環境の準備を選択し、続いて連絡先を入力します。各ロットにはMI300Xが1基含まれます。ソフトウェアと処理はご自身で選択します。この自由度の高さから、依存関係の一覧はレンタルの準備と運用の引き継ぎに特に役立ちます。