Capordia141 GB'ı neyin kapladığını ölçün
Bu Hopper yapılandırması 141 GB HBM3e belleğe sahiptir. İhtiyacınızı kalıcı veriler, geçici çalışma alanları ve her etkin görevin tükettiği bellek arasında ayrıştırın. Bir çıkarım hizmeti için özellikle uzun istekleri ve eşzamanlı gelişleri test edin: günlük bir ortalama, boyutlandırmayı belirleyen zirveleri kolayca gizler.
Ölçümlerinize dayanarak işler için bir kabul sınırı belirleyin. Amaç, uygulamanızın kabul ettiği hacmi bilmek ve ardından dalgalanmaları için bir pay bırakmaktır. Doğru şekilde yüklenen bir model, çalıştırma hızınızı desteklediğini henüz kanıtlamamıştır.
80 GB'lık bir yapılandırmadan geçiş yapın
Önce önceki ortamınızdaki aynı veri kümesini ve aynı parametreleri yeniden çalıştırın. Ardından her seferinde yalnızca bir faktörü artırın: veri yığını boyutu, girdi uzunluğu veya eşzamanlılık. Böylece bir sonuç değişikliğini nedenine bağlayabilir ve bir sonraki ekibe anlaşılır bir prosedür aktarabilirsiniz.
H100 veya H200: kısıta göre seçim yapın
80 GB'lık bir H100 SXM, iş yükünüz ve marjınız zaten bu aralığa sığıyorsa hâlâ bir alternatif olarak kalır. H200 özellikle kart başına kapasite darboğaz olduğunda değerlendirilmesi gereken bir seçenek hâline gelir. Ancak tek başına bellek, bir hesaplamanın süresini öngörmeye yetmez: yapılandırmaları karşılaştırmak için aynı protokolü koruyun.
Her döneme bir hedef belirleyin
3 günlük sürede, bellek zirvelerine odaklanan bir teslim alma hazırlayın. 7 günlük sürede, ekibinizin çalışma saatlerini temsil eden birkaç geçiş düzenleyin. 30 günlük sürede, dönemin sonunu beklemek yerine düzenli kontroller ve sonuç dışa aktarımları tanımlayın.
Kiralama, süre, lotlar ve ortam seçilerek ve ardından sipariş iletişim bilgisi girilerek hazırlanır. Her lot bir H200'e karşılık gelir. Sipariş edilen kapasite ile gerçekte planlanan işi kolayca karşılaştırmak için teslim alma kriterlerinizle birlikte özeti saklayın.