CapordiaMedir o que ocupa os 141 GB
Esta configuração Hopper dispõe de 141 GB de memória HBM3e. Decomponha sua necessidade entre os dados permanentes, os espaços de trabalho temporários e a memória consumida por cada tarefa ativa. Para um serviço de inferência, teste em especial as requisições longas e as chegadas simultâneas: uma média diária mascara facilmente os picos que decidem o dimensionamento.
Estabeleça um limite de admissão dos trabalhos a partir de suas medições. O objetivo é conhecer o volume que sua aplicação aceita e depois manter uma margem para suas variações. Um modelo que carrega corretamente ainda não demonstrou que suporta seu ritmo de operação.
Migrar de uma configuração de 80 GB
Reexecute primeiro o mesmo conjunto de dados e os mesmos parâmetros que no seu ambiente anterior. Aumente em seguida um único fator por vez: tamanho dos lotes de dados, comprimento das entradas ou concorrência. Assim você poderá atribuir uma mudança de resultado à sua causa e transmitir um procedimento compreensível para a equipe seguinte.
H100 ou H200: escolher conforme a restrição
Uma H100 SXM de 80 GB continua sendo uma alternativa se sua carga e sua margem já couberem nesse envelope. A H200 torna-se especialmente relevante de analisar quando a capacidade por placa é o ponto de bloqueio. A memória sozinha, no entanto, não permite prever a duração de um cálculo: mantenha um protocolo idêntico para comparar as configurações.
Dar um objetivo a cada período
Em 3 dias, prepare uma recepção centrada nos picos de memória. Em 7 dias, organize várias passagens representativas dos horários da sua equipe. Em 30 dias, defina controles regulares e exportações de resultados em vez de esperar o fim do período.
A locação se prepara escolhendo duração, lotes e ambiente, e depois informando o contato do pedido. Cada lote corresponde a uma H200. Guarde o resumo com seus critérios de recepção para relacionar facilmente a capacidade solicitada e o trabalho realmente planejado.