192 GB für welchen Arbeitsumfang?
Die AMD Instinct MI300X basiert auf CDNA 3 und verfügt über 192 GB HBM3. Diese Kapazität ermöglicht es, Verarbeitungen zu untersuchen, die den Rahmen kleinerer Karten sprengen, ohne daraus zu schließen, dass ein bestimmtes Modell hineinpasst. Bewerten Sie Gewichte, aktive Daten und temporäre Bereiche mit Ihrer numerischen Genauigkeit und Ihren tatsächlichen Parametern.
Ein Inventar der CUDA-Abhängigkeiten erstellen
PyTorch auf ROCm verwendet einen Teil der Schnittstelle torch.cuda wieder. Das Vorkommen dieses Namens in einem Programm belegt daher weder eine Inkompatibilität noch eine vollständige Portierbarkeit. Untersuchen Sie vor allem kompilierte CUDA-Erweiterungen, externe Bibliotheken und spezifische Operationen, von denen Ihre Verarbeitung abhängt.
Konsultieren Sie die ROCm-Kompatibilitätsmatrix, um Hardware, System und Framework zuzuordnen. Bereiten Sie einen Ladetest, einen kurzen Lauf und anschließend einen Vergleich der erwarteten Ergebnisse vor. Halten Sie die akzeptablen Abweichungen mit der fachlich verantwortlichen Person fest, bevor Sie die Kampagne verlängern; eine Migration wird auch an der Gültigkeit ihrer Ausgaben gemessen.
Wann eine NVIDIA-Konfiguration beibehalten werden sollte
Wenn eine unverzichtbare Komponente an CUDA gebunden bleibt und in Ihrem Projekt keine validierte Variante verfügbar ist, stellt die H200 SXM mit 141 GB eine weitere zu prüfende Option dar. Sie bietet weniger Speicher pro Karte als diese MI300X, kann aber den Umfang der Portierung begrenzen. Vergleichen Sie die Kosten des Übergangs und seinen Zeitplan, nicht nur die angegebene Kapazität.
Portierung und Produktionskampagne trennen
Rahmen Sie einen Zeitraum von 3 Tagen um die kritischen Abhängigkeiten, einen Zeitraum von 7 Tagen um eine Gruppe repräsentativer Arbeiten oder 30 Tage um eine bereits qualifizierte Kette. Sehen Sie eine Wiederaufnahmelösung für Aufgaben vor, die die Abnahme nicht bestehen würden.
Wählen Sie im Konfigurator Laufzeit, Lose und die Vorbereitung der Umgebung und anschließend Ihre Kontaktdaten. Jedes Los enthält eine MI300X. Sie wählen Ihre Software und Verarbeitungen; diese Autonomie macht Ihr Abhängigkeitsverzeichnis besonders nützlich, um die Miete vorzubereiten und ihren Betrieb zu übergeben.