CapordiaMessen, was die 141 GB belegt
Diese Hopper-Konfiguration verfügt über 141 GB HBM3e-Speicher. Schlüsseln Sie Ihren Bedarf auf zwischen dauerhaften Daten, temporären Arbeitsbereichen und dem von jeder aktiven Aufgabe verbrauchten Speicher. Testen Sie für einen Inferenzdienst insbesondere lange Anfragen und gleichzeitige Zugänge: Ein Tagesdurchschnitt verdeckt leicht die Spitzen, die über die Dimensionierung entscheiden.
Legen Sie auf Basis Ihrer Messungen eine Zulassungsgrenze für die Aufträge fest. Ziel ist es, das Volumen zu kennen, das Ihre Anwendung akzeptiert, und dann eine Marge für deren Schwankungen zu behalten. Ein Modell, das korrekt lädt, hat noch nicht bewiesen, dass es Ihre Betriebsrate bewältigt.
Von einer 80-GB-Konfiguration migrieren
Führen Sie zunächst denselben Datensatz und dieselben Parameter wie in Ihrer vorherigen Umgebung erneut aus. Erhöhen Sie dann jeweils nur einen Faktor: die Größe der Datenstapel, die Länge der Eingaben oder die Nebenläufigkeit. So können Sie eine Ergebnisänderung ihrer Ursache zuordnen und ein verständliches Verfahren an das nächste Team weitergeben.
H100 oder H200: nach der Einschränkung wählen
Eine H100 SXM mit 80 GB bleibt eine Alternative, wenn Ihre Last und deren Spielraum bereits in dieses Budget passen. Die H200 wird besonders dann interessant, wenn die Kapazität pro Karte der Engpass ist. Der Speicher allein erlaubt jedoch keine Vorhersage der Rechendauer: Behalten Sie ein identisches Protokoll bei, um die Konfigurationen zu vergleichen.
Jeder Periode ein Ziel geben
Planen Sie über 3 Tage eine Abnahme mit Fokus auf Speicherspitzen. Organisieren Sie über 7 Tage mehrere Durchläufe, die für die Arbeitszeiten Ihres Teams repräsentativ sind. Definieren Sie über 30 Tage regelmäßige Kontrollen und Ergebnis-Exporte, statt das Ende der Periode abzuwarten.
Die Miete wird vorbereitet, indem Sie Dauer, Lose und Umgebung wählen und anschließend den Bestellkontakt angeben. Jedes Los entspricht einer H200. Bewahren Sie die Zusammenfassung mit Ihren Abnahmekriterien auf, um die bestellte Kapazität und die tatsächlich geplante Arbeit leicht abzugleichen.