CapordiaPhân loại tệp theo vai trò và theo chủ sở hữu
Hãy tách riêng các đầu vào cần thiết cho xử lý, các tệp trung gian và các kết quả cần giữ lại. Đầu vào có thể đến từ một kho lưu trữ hoặc một tệp lưu trữ; các tệp tạm thời có thể được tạo lại; các kết quả cần một đích đến bền vững. Hãy thêm một nhóm thứ tư: các trạng thái cho phép tiếp tục một lần thực thi. Một điểm tiếp tục không đồng nhất với các đầu vào gốc cũng không phải là kết quả cuối cùng.
Với mỗi nhóm, hãy chỉ định một chủ sở hữu và một quy tắc lưu giữ. Ai có thể cho phép xóa một bộ nhớ đệm? Ai xác nhận rằng một kết quả có thể sử dụng được? Tệp nào sẽ thiếu nếu công việc dừng lại? Hãy ghi những câu trả lời này vào phiếu dự án, kèm theo đích đến đã chọn. Danh mục mô tả GPU; dung lượng đĩa, hạn mức và phương thức lưu giữ phải được kiểm tra cho phạm vi thực sự được cung cấp.
Tính đỉnh lưu trữ, không chỉ tệp lưu trữ ban đầu
Hãy đánh giá dung lượng tối đa trong quá trình thực thi. Các ảnh đã giải nén, các bản sao làm việc hoặc các phiên bản kế tiếp có thể chiếm nhiều hơn tệp lưu trữ nhận được. Cách tính đúng là cộng các thành phần cùng tồn tại tại một thời điểm. Không được cộng các giai đoạn loại trừ lẫn nhau, cũng không được quên rằng một lần xuất có thể được chuẩn bị trong khi xử lý vẫn đang tạo ra các đầu ra.
Ví dụ giả định, với GB thập phân: một nhóm giữ một tệp lưu trữ 180 GB trong khi chuẩn bị 420 GB tệp đã giải nén. Nhóm dự kiến 120 GB tệp tạm thời, 60 GB đầu ra và ba điểm tiếp tục 24 GB. Nếu tất cả cùng tồn tại, đỉnh bằng 180 + 420 + 120 + 60 + 72 = 852 GB. Một biên nội bộ được chọn là 20 % đưa nhu cầu lên 1.022,4 GB. Giả định dự án này không phải là dung lượng được bao gồm trong một gói dịch vụ.
| Nhóm | Cách tính | Dung lượng |
|---|---|---|
| Tệp lưu trữ đầu vào được giữ lại | 1 × 180 GB | 180 GB |
| Đầu vào đã giải nén | 1 × 420 GB | 420 GB |
| Tệp tạm thời tại đỉnh | Giả định làm việc | 120 GB |
| Đầu ra đang được chuẩn bị | Giả định làm việc | 60 GB |
| Các điểm tiếp tục | 3 × 24 GB | 72 GB |
| Tổng trước biên | Tổng của năm nhóm | 852 GB |
Kiểm tra vị trí khả dụng trước khi chạy một loạt
Hãy ghi lại dung lượng còn trống trên hệ thống tệp sẽ thực sự chứa dự án, sau đó kiểm tra quyền ghi và kích thước tối đa dự kiến của tệp. Với rất nhiều tệp nhỏ, hãy xem cả tính khả dụng của inode khi hệ thống sử dụng chúng. GNU df phân biệt các khối khả dụng và inode: một chỉ báo dung lượng tính bằng byte không tóm tắt được mọi nguyên nhân thất bại khi tạo tệp.
Nếu có Linux và các công cụ GNU, các lệnh dưới đây cho phép đọc thông tin ở chế độ chỉ đọc của thư mục hiện tại. Hãy ghi lại thời điểm và đường dẫn được kiểm tra. Những thông tin này không đo tốc độ lưu trữ và không cấu thành việc đặt trước dung lượng; các hạn mức bổ sung cũng có thể được áp dụng. Hãy hỏi rõ phạm vi của chúng trước khi coi việc chuẩn bị là hoàn tất.
df -B1 --output=source,size,used,avail,pcent,target .
df -i .Tổ chức tên và trạng thái để cả nhóm có thể đọc lại
Hãy đặt cho các đầu ra một cái tên nhận diện lô và phiên bản xử lý. Tách riêng các tệp đang xử lý khỏi các sản phẩm bàn giao đã kiểm tra; thư mục bàn giao không được trộn lẫn một kết quả đã được chấp nhận với một bản sao không đầy đủ mang cùng tên. Một sổ đăng ký có thể liên kết mã lô, phiên bản mã, vị trí và trạng thái xác nhận mà không chứa chính dữ liệu.
Với các tính toán dài, hãy xác định các điểm tiếp tục mà ứng dụng có thể tạo ra và kiểm tra việc đọc chúng. Hãy giữ các tham số cần thiết cùng với trạng thái đã sao lưu. Nếu một tiến trình vẫn đang ghi vào một tệp trong khi tệp đó được sao chép, đừng coi bản sao đó là một trạng thái nhất quán nếu ứng dụng không có cơ chế hỗ trợ. Hãy ưu tiên một bản sao lưu đã hoàn tất và được nhận diện, sau đó chuyển tên của nó cho người chuẩn bị bước tiếp theo.
Kiểm soát riêng việc truyền và sử dụng kết quả
Hãy truyền một kết quả đầu tiên đến đích cuối cùng trước ngày cuối. So sánh danh sách các tệp dự kiến và kích thước của chúng, sau đó so sánh các mã băm nếu quy trình của bạn có quy định. Các công cụ SHA-2 của GNU tính toán và xác minh mã băm của tệp. Một bản kê phải tương ứng với các tệp đã hoàn tất và được lưu giữ cùng nguồn gốc đã biết; bản thân nó không xác nhận chất lượng nghiệp vụ của nội dung.
Sau khi kiểm tra tính toàn vẹn, hãy mở kết quả từ đích của nó bằng ứng dụng sẽ sử dụng nó. Kiểm tra số lượng phần tử, định dạng và các phụ thuộc bên ngoài. Một tệp lưu trữ được sao chép hoàn hảo vẫn có thể chứa một tệp bị thiếu ngay từ đầu. Do đó, người phụ trách tiếp nhận phải xác nhận hai điều riêng biệt: bản sao khớp với gói dự kiến, và gói đó thực sự phục vụ cho bước tiếp theo.
sha256sum --check MANIFEST.sha256Quyết định việc lưu giữ trước khi hết kỳ hạn
Trong ví dụ 852 GB, xóa tệp lưu trữ làm việc sau khi xác nhận có một bản sao độc lập sẽ đưa nhu cầu xuống còn 672 GB trước khi tính mức dự phòng. Khoản tiết kiệm này chỉ có giá trị nếu việc khôi phục tệp lưu trữ vẫn khả thi và nếu không có bước tiếp theo nào yêu cầu nó tại chỗ. Quyết định thuộc về chủ sở hữu dữ liệu; không nên để người phát hiện thiếu dung lượng tự ứng biến.
Các lỗi thường gặp là giữ tất cả các phiên bản không giới hạn, chờ đến phút cuối mới kiểm tra quyền của đích đến và coi một bản sao nằm cùng chỗ là phương án thoát. Hãy cố định danh sách cần giữ, người phụ trách xuất dữ liệu và việc kiểm tra cuối của họ. Trong 3, 7 hoặc 30 ngày, thời gian tính toán và thời gian truy xuất đều thuộc cùng một kế hoạch.
Câu hỏi để quyết định
Có nên giữ tất cả các tệp tạm thời không?
Không nhất thiết. Hãy xác định những tệp mà ứng dụng có thể tạo lại, sau đó so sánh dung lượng của chúng với chi phí và thời gian tạo lại. Giữ những thành phần cần thiết cho một lần tiếp tục đã được xác nhận. Việc xóa một tệp vẫn đang được dùng hoặc một trạng thái thiết yếu phải bị loại trừ khỏi quy tắc dọn dẹp.
Một mã băm đúng có đủ để chấp nhận một bản xuất không?
Nó xác minh sự khớp với mã băm dự kiến. Vẫn còn phải kiểm tra rằng bản kê bao gồm đúng các tệp và rằng kết quả mở được cùng với các phụ thuộc của nó. Do đó, việc chấp nhận kết hợp tính toàn vẹn của gói và kiểm tra chức năng từ đích đến.
Bộ nhớ GPU có thể thay thế dung lượng đĩa còn thiếu không?
Không: VRAM chứa dữ liệu được dùng cho tính toán trên card. Nó không thay thế đích đến của các tệp cũng như việc lưu giữ sau thời gian thuê. Hãy mô tả riêng bộ nhớ GPU, bộ nhớ hệ thống và lưu trữ trong hồ sơ của bạn.