CapordiaĐo lường cái gì chiếm 141 GB
Cấu hình Hopper này có 141 GB bộ nhớ HBM3e. Hãy phân tách nhu cầu của bạn giữa dữ liệu thường trú, không gian làm việc tạm thời và bộ nhớ mà mỗi tác vụ đang hoạt động tiêu thụ. Đối với một dịch vụ suy luận, hãy đặc biệt kiểm tra các yêu cầu dài và các lần đến đồng thời: mức trung bình hàng ngày dễ che khuất các đỉnh quyết định việc định cỡ.
Thiết lập giới hạn tiếp nhận công việc dựa trên các phép đo của bạn. Mục tiêu là biết khối lượng mà ứng dụng của bạn chấp nhận, sau đó giữ một biên độ cho các biến động của nó. Một mô hình tải đúng chưa chứng minh được rằng nó chịu được nhịp độ vận hành của bạn.
Di chuyển từ cấu hình 80 GB
Trước tiên hãy chạy lại cùng bộ dữ liệu và cùng tham số như trên môi trường trước của bạn. Sau đó tăng từng yếu tố một: kích thước lô dữ liệu, độ dài đầu vào hoặc đồng thời. Như vậy bạn có thể quy một thay đổi kết quả về nguyên nhân của nó và chuyển giao một quy trình dễ hiểu cho đội tiếp theo.
H100 hay H200: chọn theo ràng buộc
Một H100 SXM 80 GB vẫn là lựa chọn thay thế nếu khối lượng công việc và biên lợi nhuận của bạn đã nằm gọn trong giới hạn đó. H200 trở nên đặc biệt đáng cân nhắc khi dung lượng mỗi card là điểm nghẽn. Tuy nhiên, chỉ riêng bộ nhớ không đủ để dự đoán thời gian tính toán: hãy giữ nguyên một quy trình để so sánh các cấu hình.
Đặt mục tiêu cho mỗi giai đoạn
Trong 3 ngày, hãy chuẩn bị một đợt kiểm tra tập trung vào các đỉnh bộ nhớ. Trong 7 ngày, hãy tổ chức nhiều lượt chạy đại diện cho các khung giờ của đội ngũ bạn. Trong 30 ngày, hãy xác định các kiểm tra định kỳ và xuất kết quả thay vì chờ đến cuối giai đoạn.
Việc thuê được chuẩn bị bằng cách chọn thời hạn, số lô và môi trường, sau đó điền thông tin liên hệ đặt hàng. Mỗi lô tương ứng với một H200. Hãy giữ lại bản tóm tắt cùng các tiêu chí nghiệm thu để dễ dàng đối chiếu dung lượng đã đặt với khối lượng công việc thực tế đã lên kế hoạch.