CapordiaMeten wat de 141 GB inneemt
Deze Hopper-configuratie beschikt over 141 GB HBM3e-geheugen. Splits je behoefte op in permanente gegevens, tijdelijke werkruimtes en het geheugen dat elke actieve taak verbruikt. Test voor een inferentiedienst vooral lange aanvragen en gelijktijdige aankomsten: een dagelijks gemiddelde verbergt gemakkelijk de pieken die de dimensionering bepalen.
Stel een toelatingslimiet voor taken op basis van je metingen. Het doel is te weten welk volume je applicatie aanvaardt en daarna een marge te behouden voor de schommelingen ervan. Een model dat correct laadt, heeft nog niet bewezen dat het je operationele tempo aankan.
Migreren vanaf een configuratie van 80 GB
Draai eerst dezelfde dataset en dezelfde parameters als op je vorige omgeving. Verhoog daarna één factor tegelijk: grootte van de databatches, lengte van de invoer of gelijktijdigheid. Zo kun je een resultaatwijziging aan haar oorzaak toeschrijven en een begrijpelijke procedure doorgeven aan het volgende team.
H100 of H200: kiezen volgens de beperking
Een H100 SXM met 80 GB blijft een alternatief als je workload en zijn marge al binnen dit bereik passen. De H200 wordt vooral interessant om te onderzoeken wanneer de capaciteit per kaart het knelpunt is. Het geheugen alleen laat echter niet toe de duur van een berekening te voorspellen: houd een identiek protocol aan om configuraties te vergelijken.
Geef elke periode een doel
Voor 3 dagen bereid je een afname voor die gericht is op geheugenpieken. Voor 7 dagen organiseer je meerdere runs die representatief zijn voor de werktijden van je team. Voor 30 dagen leg je regelmatige controles en exporten van resultaten vast in plaats van te wachten tot het einde van de periode.
De huur bereid je voor door duur, lots en omgeving te kiezen en vervolgens het bestelcontact in te vullen. Elk lot komt overeen met een H200. Bewaar het overzicht met je acceptatiecriteria om de bestelde capaciteit en het werk dat je werkelijk plant eenvoudig te kunnen vergelijken.