CapordiaUkur apa yang menghabiskan 141 GB
Konfigurasi Hopper ini memiliki 141 GB memori HBM3e. Uraikan kebutuhan Anda antara data permanen, ruang kerja sementara, dan memori yang dikonsumsi setiap tugas aktif. Untuk layanan inferensi, ujilah khususnya permintaan panjang dan kedatangan simultan: rata-rata harian mudah menyembunyikan lonjakan yang menentukan dimensi.
Tetapkan batas penerimaan pekerjaan berdasarkan pengukuran Anda. Tujuannya adalah mengetahui volume yang dapat diterima aplikasi Anda, lalu menyisakan margin untuk variasinya. Model yang berhasil dimuat belum membuktikan bahwa ia mampu menangani laju operasi Anda.
Migrasi dari konfigurasi 80 GB
Jalankan ulang terlebih dahulu kumpulan data dan parameter yang sama seperti pada lingkungan sebelumnya. Kemudian tingkatkan satu faktor saja pada satu waktu: ukuran batch data, panjang masukan, atau konkurensi. Dengan begitu Anda dapat mengaitkan perubahan hasil dengan penyebabnya dan mewariskan prosedur yang mudah dipahami kepada tim berikutnya.
H100 atau H200: pilih sesuai kendala
H100 SXM 80 GB tetap menjadi alternatif jika beban kerja Anda dan marginnya sudah muat dalam cakupan tersebut. H200 menjadi sangat relevan untuk ditinjau ketika kapasitas per kartu merupakan titik penghambat. Namun, memori saja tidak cukup untuk memprediksi durasi suatu komputasi: pertahankan protokol yang identik untuk membandingkan konfigurasi.
Berikan tujuan pada setiap periode
Dalam 3 hari, siapkan penerimaan yang berfokus pada puncak penggunaan memori. Dalam 7 hari, susun beberapa sesi yang representatif terhadap jam kerja tim Anda. Dalam 30 hari, tetapkan kontrol berkala dan ekspor hasil alih-alih menunggu hingga akhir periode.
Sewa disiapkan dengan memilih durasi, lot, dan lingkungan, lalu mengisi kontak pemesanan. Setiap lot mewakili satu H200. Simpan ringkasan beserta kriteria penerimaan Anda untuk dengan mudah mencocokkan kapasitas yang dipesan dengan pekerjaan yang benar-benar direncanakan.