CapordiaИзмерить, что занимает 141 ГБ
Эта конфигурация Hopper располагает 141 ГБ памяти HBM3e. Разложите свою потребность на постоянные данные, временные рабочие области и память, потребляемую каждой активной задачей. Для сервиса инференса проверьте в частности длинные запросы и одновременные поступления: среднесуточное значение легко скрывает пики, которые определяют выбор размера.
Установите предел допуска задач исходя из ваших измерений. Цель — знать объём, который принимает ваше приложение, а затем сохранять запас на его колебания. Модель, которая корректно загружается, ещё не доказала, что выдерживает ваш рабочий темп.
Перейти с конфигурации на 80 ГБ
Сначала воспроизведите тот же набор данных и те же параметры, что и в предыдущем окружении. Затем увеличивайте по одному фактору за раз: размер пакетов данных, длину входных данных или параллелизм. Так вы сможете связать изменение результата с его причиной и передать следующей команде понятную процедуру.
H100 или H200: выбор по ограничению
H100 SXM на 80 ГБ остаётся альтернативой, если ваша нагрузка и её запас уже укладываются в этот объём. H200 становится особенно актуальной для рассмотрения, когда именно ёмкость на карту является узким местом. Однако одна лишь память не позволяет предсказать длительность вычислений: придерживайтесь одинакового протокола, чтобы сравнивать конфигурации.
Задать цель для каждого периода
На 3 дня подготовьте приёмку, ориентированную на пики по памяти. На 7 дней организуйте несколько прогонов, отражающих график работы вашей команды. На 30 дней задайте регулярные проверки и выгрузку результатов вместо ожидания конца периода.
Аренда готовится путём выбора длительности, лотов и окружения, а затем указания контакта для заказа. Каждый лот соответствует одной H200. Сохраните сводку вместе со своими критериями приёмки, чтобы легко сопоставить заказанную ёмкость с реально запланированной работой.