Mesurer ce qui occupe les 141 Go
Cette configuration Hopper dispose de 141 Go de mémoire HBM3e. Décomposez votre besoin entre les données permanentes, les espaces de travail temporaires et la mémoire consommée par chaque tâche active. Pour un service d’inférence, testez notamment les requêtes longues et les arrivées simultanées : une moyenne quotidienne masque facilement les pointes qui décident du dimensionnement.
Établissez une limite d’admission des travaux à partir de vos mesures. L’objectif est de connaître le volume que votre application accepte, puis de garder une marge pour ses variations. Un modèle qui se charge correctement n’a pas encore démontré qu’il supporte votre cadence d’exploitation.
Migrer depuis une configuration de 80 Go
Rejouez d’abord le même jeu de données et les mêmes paramètres que sur votre environnement précédent. Augmentez ensuite un seul facteur à la fois : taille des lots de données, longueur des entrées ou concurrence. Vous pourrez ainsi attribuer un changement de résultat à sa cause et transmettre une procédure compréhensible à l’équipe suivante.
H100 ou H200 : choisir selon la contrainte
Une H100 SXM de 80 Go reste une alternative si votre charge et sa marge tiennent déjà dans cette enveloppe. La H200 devient particulièrement pertinente à étudier lorsque la capacité par carte est le point bloquant. La mémoire seule ne permet toutefois pas de prévoir la durée d’un calcul : gardez un protocole identique pour comparer les configurations.
Donner un objectif à chaque période
Sur 3 jours, préparez une réception centrée sur les pointes mémoire. Sur 7 jours, organisez plusieurs passages représentatifs des horaires de votre équipe. Sur 30 jours, définissez des contrôles réguliers et des exports de résultats plutôt que d’attendre la fin de période.
La location se prépare en choisissant durée, lots et environnement, puis en renseignant le contact de commande. Chaque lot correspond à une H200. Conservez le récapitulatif avec vos critères de réception pour rapprocher facilement la capacité commandée et le travail réellement planifié.