CapordiaВиміряйте, що займає 141 ГБ
Ця конфігурація Hopper має 141 ГБ пам'яті HBM3e. Розкладіть свою потребу між постійними даними, тимчасовими робочими просторами та пам'яттю, яку споживає кожне активне завдання. Для сервісу інференсу тестуйте, зокрема, довгі запити та одночасні надходження: середнє за день легко приховує піки, які визначають розмір конфігурації.
Встановіть ліміт допуску робіт на основі ваших вимірювань. Мета — знати обсяг, який приймає ваш застосунок, а потім зберегти запас для його коливань. Модель, яка правильно завантажується, ще не довела, що витримує ваш робочий темп.
Міграція з конфігурації на 80 ГБ
Спочатку повторіть той самий набір даних і ті самі параметри, що й у вашому попередньому середовищі. Потім збільшуйте лише один фактор за раз: розмір пакетів даних, довжину вхідних даних або паралелізм. Так ви зможете пов'язати зміну результату з її причиною та передати зрозумілу процедуру наступній команді.
H100 чи H200: вибір за обмеженням
H100 SXM на 80 ГБ залишається альтернативою, якщо ваше навантаження та його запас уже вписуються в цей обсяг. H200 стає особливо доречною для розгляду, коли обсяг пам'яті на карту є вузьким місцем. Втім, сама лише пам'ять не дає змоги передбачити тривалість обчислення: дотримуйтеся однакового протоколу, щоб порівнювати конфігурації.
Поставити мету для кожного періоду
На 3 дні підготуйте приймання з акцентом на пікові навантаження на пам'ять. На 7 днів організуйте кілька прогонів, що відображають години роботи вашої команди. На 30 днів визначте регулярні перевірки та експорт результатів, а не чекайте кінця періоду.
Оренду готують, обираючи тривалість, лоти та середовище, а потім вказуючи контакт для замовлення. Кожен лот відповідає одній H200. Збережіть підсумок разом із вашими критеріями приймання, щоб легко зіставити замовлену потужність із фактично запланованою роботою.