CapordiaDateien nach Rolle und Eigentümer klassifizieren
Trennen Sie die für die Verarbeitung erforderlichen Eingaben, die Zwischendateien und die aufzubewahrenden Ergebnisse. Eingaben können aus einem Repository oder einem Archiv stammen; temporäre Dateien können neu erzeugt werden; Ergebnisse benötigen ein dauerhaftes Ziel. Fügen Sie eine vierte Familie hinzu: die Zustände, die eine Wiederaufnahme einer Ausführung ermöglichen. Ein Wiederaufnahmepunkt ist weder mit den ursprünglichen Eingaben noch mit dem endgültigen Ergebnis zu verwechseln.
Benennen Sie für jede Familie einen Eigentümer und eine Aufbewahrungsregel. Wer darf die Löschung eines Caches genehmigen? Wer bestätigt, dass ein Ergebnis verwertbar ist? Welche Datei fehlt, wenn die Arbeit abbricht? Halten Sie diese Antworten im Projektblatt fest, zusammen mit dem gewählten Ziel. Der Katalog beschreibt die GPU; Festplattenkapazitäten, Quoten und Aufbewahrungsmodalitäten müssen für den tatsächlich bereitgestellten Umfang geprüft werden.
Den Speicherspitzenwert berechnen, nicht nur das ursprüngliche Archiv
Schätzen Sie das maximale Volumen während der Ausführung. Entpackte Bilder, Arbeitskopien oder aufeinanderfolgende Versionen können mehr belegen als das erhaltene Archiv. Die richtige Berechnung addiert die Elemente, die zum selben Zeitpunkt nebeneinander bestehen. Man darf weder exklusive Phasen addieren noch vergessen, dass ein Export vorbereitet werden kann, während die Verarbeitung noch ihre Ausgaben erzeugt.
Fiktives Beispiel mit dezimalen GB: Ein Team bewahrt ein Archiv von 180 GB während der Vorbereitung von 420 GB entpackter Dateien auf. Es sieht 120 GB temporäre Dateien, 60 GB Ausgaben und drei Wiederaufnahmepunkte von 24 GB vor. Wenn alles nebeneinander besteht, beträgt der Spitzenwert 180 + 420 + 120 + 60 + 72 = 852 GB. Eine gewählte interne Marge von 20 % hebt den Bedarf auf 1.022,4 GB. Diese Projektannahme ist keine in einem Angebot enthaltene Kapazität.
| Kategorie | Berechnung | Volumen |
|---|---|---|
| Aufbewahrtes Eingangsarchiv | 1 × 180 GB | 180 GB |
| Entpackte Eingaben | 1 × 420 GB | 420 GB |
| Temporäre Dateien zum Spitzenwert | Arbeitsannahme | 120 GB |
| Ausgaben in Vorbereitung | Arbeitsannahme | 60 GB |
| Wiederaufnahmepunkte | 3 × 24 GB | 72 GB |
| Gesamt vor Marge | Summe der fünf Kategorien | 852 GB |
Den nutzbaren Speicherort vor dem Start einer Serie prüfen
Ermitteln Sie den verfügbaren Speicherplatz auf dem Dateisystem, das das Projekt tatsächlich aufnehmen wird, und prüfen Sie dann die Schreibberechtigungen und die maximal erwartete Dateigröße. Bei sehr vielen kleinen Dateien prüfen Sie auch die Verfügbarkeit der Inodes, sofern das System sie verwendet. GNU df unterscheidet verfügbare Blöcke und Inodes: Eine Kapazitätsanzeige in Bytes fasst nicht alle Ursachen für ein Scheitern beim Anlegen einer Datei zusammen.
Wenn Linux und die GNU-Werkzeuge vorhanden sind, ermöglichen die folgenden Befehle eine schreibgeschützte Erfassung des aktuellen Verzeichnisses. Notieren Sie die Uhrzeit und den geprüften Pfad. Diese Erfassungen messen nicht die Geschwindigkeit des Speichers und stellen keine Reservierung von Speicherplatz dar; zusätzlich können Quoten gelten. Fragen Sie nach deren Umfang, bevor Sie die Vorbereitung als abgeschlossen betrachten.
df -B1 --output=source,size,used,avail,pcent,target .
df -i .Namen und Zustände organisieren, die das Team nachvollziehen kann
Geben Sie den Ausgaben einen Namen, der den Batch und die Version der Verarbeitung kennzeichnet. Trennen Sie laufende Dateien von geprüften Lieferergebnissen; der Lieferordner darf kein akzeptiertes Ergebnis und eine Teilkopie mit demselben Namen vermischen. Ein Register kann Batch-Kennung, Codeversion, Speicherort und Validierungsstatus zuordnen, ohne die Daten selbst zu enthalten.
Definieren Sie für lange Berechnungen die Wiederaufnahmepunkte, die die Anwendung erzeugen kann, und prüfen Sie deren Lesbarkeit. Bewahren Sie die erforderlichen Parameter zusammen mit dem gespeicherten Zustand auf. Wenn ein Prozess während seiner Kopie noch in eine Datei schreibt, betrachten Sie diese Kopie ohne einen von der Anwendung vorgesehenen Mechanismus nicht als konsistenten Zustand. Bevorzugen Sie eine abgeschlossene und gekennzeichnete Sicherung und übermitteln Sie dann deren Namen an die Person, die die Fortsetzung vorbereitet.
Übertragung und Nutzung des Ergebnisses getrennt kontrollieren
Übertragen Sie ein erstes Ergebnis noch vor dem letzten Tag an seinen endgültigen Zielort. Vergleichen Sie die Liste der erwarteten Dateien und ihre Größen, anschließend die Prüfsummen, sofern Ihr Verfahren dies vorsieht. Die SHA-2-Werkzeuge von GNU berechnen und prüfen Datei-Prüfsummen. Ein Manifest muss zu abgeschlossenen Dateien passen und mit bekannter Herkunft aufbewahrt werden; allein validiert es nicht die fachliche Qualität des Inhalts.
Öffnen Sie das Ergebnis nach der Integritätsprüfung an seinem Zielort mit der Anwendung, die es verwenden wird. Prüfen Sie die Anzahl der Elemente, das Format und die externen Abhängigkeiten. Ein einwandfrei kopiertes Archiv kann dennoch von Anfang an eine fehlende Datei enthalten. Die für den Empfang verantwortliche Person muss daher zwei getrennte Dinge bestätigen: Die Kopie entspricht dem erwarteten Paket, und dieses Paket dient tatsächlich dem nächsten Schritt.
sha256sum --check MANIFEST.sha256Aufbewahrung noch vor Ende des Zeitraums entscheiden
Im Beispiel der 852 GB würde das Löschen des Arbeitsarchivs nach Bestätigung einer unabhängigen Kopie den Bedarf vor Reserve auf 672 GB senken. Dieser Gewinn gilt nur, wenn die Wiederherstellung des Archivs weiterhin möglich ist und kein nachfolgender Schritt es vor Ort erfordert. Die Entscheidung liegt bei den Datenverantwortlichen; sie darf nicht von der Person improvisiert werden, die einen Platzmangel feststellt.
Häufige Fehler sind, alle Versionen unbegrenzt aufzubewahren, mit dem Testen der Zielberechtigungen bis zum Schluss zu warten und eine Kopie am selben Ort als Ausstiegslösung zu zählen. Legen Sie die aufzubewahrende Liste, die für den Export verantwortliche Person und deren abschließende Kontrolle fest. Bei 3, 7 oder 30 Tagen gehören die Dauer der Berechnung und die der Abholung zum selben Zeitplan.
Fragen zur Entscheidung
Sollen alle temporären Dateien aufbewahrt werden?
Nicht unbedingt. Identifizieren Sie diejenigen, die die Anwendung neu erstellen kann, und vergleichen Sie ihr Volumen mit den Kosten und dem Zeitaufwand dieser Neuerstellung. Behalten Sie die für eine validierte Wiederaufnahme erforderlichen Elemente. Das Löschen einer noch verwendeten Datei oder eines unverzichtbaren Zustands ist von der Bereinigungsregel auszunehmen.
Reicht eine korrekte Prüfsumme aus, um einen Export anzunehmen?
Sie prüft die Übereinstimmung mit der erwarteten Prüfsumme. Es bleibt zu prüfen, dass das Manifest die richtigen Dateien abdeckt und dass das Ergebnis mit seinen Abhängigkeiten geöffnet werden kann. Die Abnahme verbindet somit Integrität des Pakets und Funktionskontrolle am Zielort.
Kann der GPU-Speicher den fehlenden Festplattenspeicher ersetzen?
Nein: Der VRAM nimmt die von der Berechnung auf der Karte verwendeten Daten auf. Er ersetzt weder den Zielort der Dateien noch die Aufbewahrung nach dem Mietzeitraum. Beschreiben Sie GPU-Speicher, Systemspeicher und Speicherplatz getrennt in Ihrer Dokumentation.