CapordiaZmierz, co zajmuje 141 GB
Ta konfiguracja Hopper dysponuje 141 GB pamięci HBM3e. Rozłóż swoje potrzeby na dane stałe, tymczasowe przestrzenie robocze i pamięć zużywaną przez każde aktywne zadanie. W przypadku usługi wnioskowania przetestuj zwłaszcza długie żądania i jednoczesne napływy: średnia dzienna łatwo ukrywa szczyty, które decydują o doborze wymiarów.
Ustal limit dopuszczania zadań na podstawie swoich pomiarów. Celem jest poznanie wielkości, którą akceptuje Twoja aplikacja, a następnie zachowanie marginesu na jej wahania. Model, który ładuje się poprawnie, nie wykazał jeszcze, że wytrzymuje Twoje tempo eksploatacji.
Migruj z konfiguracji 80 GB
Najpierw powtórz ten sam zestaw danych i te same parametry co w poprzednim środowisku. Następnie zwiększaj tylko jeden czynnik naraz: rozmiar partii danych, długość danych wejściowych lub współbieżność. Dzięki temu będziesz mógł przypisać zmianę wyniku do jej przyczyny i przekazać zrozumiałą procedurę kolejnemu zespołowi.
H100 czy H200: wybierz według ograniczenia
H100 SXM o pojemności 80 GB pozostaje alternatywą, jeśli Twoje obciążenie i jego margines mieszczą się już w tym zakresie. H200 staje się szczególnie warta rozważenia, gdy to pojemność na kartę jest wąskim gardłem. Sama pamięć nie pozwala jednak przewidzieć czasu obliczeń: utrzymuj identyczny protokół, aby porównywać konfiguracje.
Nadać każdemu okresowi cel
W ciągu 3 dni przygotuj odbiór skoncentrowany na szczytach pamięci. W ciągu 7 dni zaplanuj kilka przebiegów reprezentatywnych dla godzin pracy Twojego zespołu. W ciągu 30 dni ustal regularne kontrole i eksporty wyników, zamiast czekać do końca okresu.
Wynajem przygotowuje się, wybierając czas trwania, partie i środowisko, a następnie podając dane kontaktowe do zamówienia. Każda partia odpowiada jednej H200. Zachowaj podsumowanie wraz z kryteriami odbioru, aby łatwo porównać zamówioną pojemność z faktycznie zaplanowaną pracą.