CapordiaMisurare cosa occupa i 141 GB
Questa configurazione Hopper dispone di 141 GB di memoria HBM3e. Scomponi il tuo fabbisogno tra dati permanenti, spazi di lavoro temporanei e memoria consumata da ogni attività attiva. Per un servizio di inferenza, testa in particolare le richieste lunghe e gli arrivi simultanei: una media giornaliera maschera facilmente i picchi che decidono il dimensionamento.
Stabilisci un limite di ammissione dei lavori in base alle tue misurazioni. L'obiettivo è conoscere il volume che la tua applicazione accetta, per poi mantenere un margine per le sue variazioni. Un modello che si carica correttamente non ha ancora dimostrato di sostenere il tuo ritmo operativo.
Migrare da una configurazione da 80 GB
Riproduci innanzitutto lo stesso set di dati e gli stessi parametri del tuo ambiente precedente. Aumenta poi un solo fattore alla volta: dimensione dei lotti di dati, lunghezza degli input o concorrenza. Potrai così attribuire un cambiamento di risultato alla sua causa e trasmettere una procedura comprensibile al team successivo.
H100 o H200: scegliere in base al vincolo
Una H100 SXM da 80 GB resta un'alternativa se il tuo carico e il suo margine rientrano già in questo limite. La H200 diventa particolarmente interessante da valutare quando la capacità per scheda è il punto bloccante. La sola memoria non permette tuttavia di prevedere la durata di un calcolo: mantieni un protocollo identico per confrontare le configurazioni.
Dare un obiettivo a ogni periodo
Su 3 giorni, prepara una ricezione centrata sui picchi di memoria. Su 7 giorni, organizza più passaggi rappresentativi degli orari del tuo team. Su 30 giorni, definisci controlli regolari ed esportazioni dei risultati invece di aspettare la fine del periodo.
Il noleggio si prepara scegliendo durata, lotti e ambiente, poi inserendo il contatto dell'ordine. Ogni lotto corrisponde a una H200. Conserva il riepilogo con i tuoi criteri di ricezione per riconciliare facilmente la capacità ordinata e il lavoro effettivamente pianificato.