CapordiaKlasyfikuj pliki według roli i właściciela
Oddziel dane wejściowe niezbędne do przetwarzania, pliki pośrednie i wyniki przeznaczone do zachowania. Dane wejściowe mogą pochodzić z repozytorium lub archiwum; pliki tymczasowe można odtworzyć; wyniki wymagają trwałego miejsca docelowego. Dodaj czwartą rodzinę: stany umożliwiające wznowienie wykonania. Punkt wznowienia nie jest tożsamy ani z oryginalnymi danymi wejściowymi, ani z wynikiem końcowym.
Dla każdej rodziny wskaż właściciela i regułę przechowywania. Kto może zezwolić na usunięcie pamięci podręcznej? Kto potwierdza, że wynik jest użyteczny? Jakiego pliku brakuje, jeśli praca zostanie zatrzymana? Zapisz te odpowiedzi w karcie projektu wraz z wybranym miejscem docelowym. Katalog opisuje GPU; możliwości dysku, limity i zasady przechowywania trzeba zweryfikować dla zakresu faktycznie dostarczonego.
Oblicz szczytowe zapotrzebowanie na pamięć, nie tylko początkową archiwizację
Oszacuj maksymalny wolumen w trakcie wykonywania. Zdekompresowane obrazy, kopie robocze lub kolejne wersje mogą zajmować więcej niż otrzymane archiwum. Prawidłowe obliczenie sumuje elementy współistniejące w tym samym momencie. Nie należy ani sumować wykluczających się faz, ani zapominać, że eksport może być przygotowywany, gdy przetwarzanie wciąż generuje wyniki.
Przykład fikcyjny, z GB dziesiętnymi: zespół przechowuje archiwum o rozmiarze 180 GB podczas przygotowywania 420 GB zdekompresowanych plików. Przewiduje 120 GB plików tymczasowych, 60 GB wyników i trzy punkty wznowienia po 24 GB. Jeśli wszystko współistnieje, szczyt wynosi 180 + 420 + 120 + 60 + 72 = 852 GB. Przyjęty wewnętrzny margines 20% podnosi zapotrzebowanie do 1 022,4 GB. To założenie projektowe nie jest pojemnością zawartą w ofercie.
| Kategoria | Obliczenie | Wolumen |
|---|---|---|
| Zachowane archiwum wejściowe | 1 × 180 GB | 180 GB |
| Zdekompresowane dane wejściowe | 1 × 420 GB | 420 GB |
| Pliki tymczasowe w szczycie | Założenie robocze | 120 GB |
| Wyniki w przygotowaniu | Założenie robocze | 60 GB |
| Punkty wznowienia | 3 × 24 GB | 72 GB |
| Suma przed marginesem | Suma pięciu kategorii | 852 GB |
Sprawdź dostępną lokalizację przed uruchomieniem serii
Sprawdź dostępną przestrzeń w systemie plików, który faktycznie pomieści projekt, a następnie zweryfikuj uprawnienia do zapisu i oczekiwany maksymalny rozmiar plików. Przy bardzo wielu małych plikach sprawdź także dostępność i-węzłów, jeśli system ich używa. GNU df rozróżnia dostępne bloki i i-węzły: wskaźnik pojemności w bajtach nie obejmuje wszystkich przyczyn niepowodzenia tworzenia pliku.
Jeśli dostępne są Linux i narzędzia GNU, poniższe polecenia pozwalają na odczyt bieżącego katalogu w trybie tylko do odczytu. Zanotuj sprawdzoną godzinę i ścieżkę. Odczyty te nie mierzą szybkości pamięci masowej i nie stanowią rezerwacji przestrzeni; mogą również obowiązywać dodatkowe limity. Zapytaj o ich zakres, zanim uznasz przygotowanie za zakończone.
df -B1 --output=source,size,used,avail,pcent,target .
df -i .Uporządkuj nazwy i stany, które zespół może ponownie odczytać
Nadaj wynikom nazwę identyfikującą partię i wersję przetwarzania. Oddziel pliki w toku od sprawdzonych materiałów dostarczanych; folder dostawy nie może mieszać zaakceptowanego wyniku i częściowej kopii o tej samej nazwie. Rejestr może łączyć identyfikator partii, wersję kodu, lokalizację i stan zatwierdzenia, nie zawierając samych danych.
W przypadku długich obliczeń zdefiniuj punkty wznowienia, które aplikacja potrafi utworzyć, i zweryfikuj ich odczyt. Zachowaj niezbędne parametry wraz z zapisanym stanem. Jeśli proces wciąż zapisuje do pliku podczas jego kopiowania, nie uznawaj tej kopii za spójny stan bez mechanizmu przewidzianego przez aplikację. Preferuj zakończoną i zidentyfikowaną kopię zapasową, a następnie przekaż jej nazwę osobie przygotowującej dalsze kroki.
Kontrolować transfer i użycie wyniku oddzielnie
Przenieś pierwszy wynik do jego docelowej lokalizacji przed ostatnim dniem. Porównaj listę oczekiwanych plików i ich rozmiary, a następnie sumy kontrolne, jeśli Twoja procedura je przewiduje. Narzędzia SHA-2 z GNU obliczają i weryfikują sumy kontrolne plików. Manifest musi odpowiadać ukończonym plikom i być przechowywany ze znanym pochodzeniem; sam nie potwierdza jakości merytorycznej zawartości.
Po sprawdzeniu integralności otwórz wynik z miejsca docelowego za pomocą aplikacji, która go użyje. Sprawdź liczbę elementów, format i zależności zewnętrzne. Doskonale skopiowane archiwum może mimo to od początku zawierać brakujący plik. Osoba odpowiedzialna za odbiór musi więc potwierdzić dwie odrębne rzeczy: kopia odpowiada oczekiwanemu pakietowi, a ten pakiet rzeczywiście służy następnemu etapowi.
sha256sum --check MANIFEST.sha256Zdecydować o przechowywaniu przed końcem okresu
W przykładzie 852 GB usunięcie archiwum roboczego po potwierdzeniu niezależnej kopii zmniejszyłoby zapotrzebowanie do 672 GB przed marginesem. Ten zysk jest zasadny tylko wtedy, gdy przywrócenie archiwum pozostaje możliwe i żaden kolejny krok nie wymaga go na miejscu. Decyzja należy do właściciela danych; nie powinna być podejmowana doraźnie przez osobę, która stwierdza brak miejsca.
Częste błędy to przechowywanie wszystkich wersji bez ograniczeń, czekanie do końca na przetestowanie uprawnień docelowych i traktowanie kopii w tym samym miejscu jako rozwiązania do eksportu. Ustal listę do zachowania, osobę odpowiedzialną za eksport i jego końcową kontrolę. Niezależnie od tego, czy chodzi o 3, 7 czy 30 dni, czas obliczeń i czas odzyskiwania są częścią tego samego planu.
Pytania przed decyzją
Czy należy zachować wszystkie pliki tymczasowe?
Niekoniecznie. Zidentyfikuj te, które aplikacja może odtworzyć, a następnie porównaj ich rozmiar z kosztem i czasem tej rekonstrukcji. Zachowaj elementy niezbędne do zatwierdzonego wznowienia. Usunięcie pliku, który jest jeszcze używany, lub stanu niezbędnego musi być wykluczone z reguły czyszczenia.
Czy poprawna suma kontrolna wystarcza do zaakceptowania eksportu?
Weryfikuje zgodność z oczekiwaną sumą kontrolną. Pozostaje sprawdzić, czy manifest obejmuje właściwe pliki i czy wynik otwiera się wraz ze swoimi zależnościami. Akceptacja łączy więc integralność pakietu i kontrolę funkcjonalną z miejsca docelowego.
Czy pamięć GPU może zastąpić brakującą przestrzeń dyskową?
Nie: VRAM przechowuje dane używane przez obliczenia na karcie. Nie zastępuje miejsca docelowego plików ani przechowywania po zakończeniu okresu wynajmu. Opisz oddzielnie pamięć GPU, pamięć systemową i przestrzeń dyskową w swojej dokumentacji.