CapordiaBestanden classificeren op rol en eigenaar
Scheid de inputs die nodig zijn voor de verwerking, de tussenbestanden en de resultaten die bewaard moeten blijven. Inputs kunnen uit een repository of een archief komen; tijdelijke bestanden kunnen opnieuw worden aangemaakt; resultaten vragen een duurzame bestemming. Voeg een vierde familie toe: de statussen die het hervatten van een uitvoering mogelijk maken. Een herstelpunt valt niet samen met de originele inputs of met het eindresultaat.
Benoem voor elke familie een eigenaar en een bewaarregel. Wie mag het verwijderen van een cache goedkeuren? Wie bevestigt dat een resultaat bruikbaar is? Welk bestand ontbreekt als het werk stopt? Leg deze antwoorden vast in de projectfiche, samen met de gekozen bestemming. De catalogus beschrijft de GPU; schijfcapaciteit, quota en bewaarvoorwaarden moeten worden geverifieerd voor de daadwerkelijk geleverde scope.
Bereken de opslagpiek, niet alleen het initiële archief
Schat het maximale volume tijdens de uitvoering. Uitgepakte images, werkkopieën of opeenvolgende versies kunnen meer innemen dan het ontvangen archief. Een goede berekening telt de elementen op die op hetzelfde moment naast elkaar bestaan. Je moet geen elkaar uitsluitende fasen optellen, maar ook niet vergeten dat een export kan worden voorbereid terwijl de verwerking nog outputs produceert.
Fictief voorbeeld, met decimale GB: een team bewaart een archief van 180 GB tijdens de voorbereiding van 420 GB aan uitgepakte bestanden. Het voorziet 120 GB tijdelijke bestanden, 60 GB outputs en drie herstelpunten van 24 GB. Als alles naast elkaar bestaat, is de piek 180 + 420 + 120 + 60 + 72 = 852 GB. Een gekozen interne marge van 20% brengt de behoefte op 1.022,4 GB. Deze projecthypothese is geen capaciteit die in een aanbod is inbegrepen.
| Categorie | Berekening | Volume |
|---|---|---|
| Bewaard inputarchief | 1 × 180 GB | 180 GB |
| Uitgepakte inputs | 1 × 420 GB | 420 GB |
| Tijdelijke bestanden op de piek | Werkhypothese | 120 GB |
| Outputs in voorbereiding | Werkhypothese | 60 GB |
| Herstelpunten | 3 × 24 GB | 72 GB |
| Totaal vóór marge | Som van de vijf categorieën | 852 GB |
Controleer de bruikbare locatie voordat je een reeks start
Noteer de beschikbare ruimte op het bestandssysteem dat het project daadwerkelijk zal huisvesten, en controleer vervolgens de schrijfrechten en de maximaal verwachte bestandsgrootte. Bij zeer veel kleine bestanden kijk je ook naar de beschikbaarheid van inodes wanneer het systeem die gebruikt. GNU df onderscheidt beschikbare blokken en inodes: een capaciteitsindicator in bytes vat niet alle oorzaken van een mislukte bestandscreatie samen.
Als Linux en de GNU-tools aanwezig zijn, maken de onderstaande opdrachten een alleen-lezen opname van de huidige map mogelijk. Noteer het tijdstip en het onderzochte pad. Deze opnames meten niet de opslagsnelheid en vormen geen reservering van ruimte; er kunnen ook额外的 quota van toepassing zijn. Vraag hun scope op voordat je de voorbereiding als afgerond beschouwt.
df -B1 --output=source,size,used,avail,pcent,target .
df -i .Organiseer namen en statussen die het team kan teruglezen
Geef outputs een naam die de batch en de versie van de verwerking identificeert. Scheid bestanden die in behandeling zijn van gecontroleerde deliverables; de leveringsmap mag een geaccepteerd resultaat en een gedeeltelijke kopie met dezelfde naam niet door elkaar halen. Een register kan batch-id, codeversie, locatie en validatiestatus aan elkaar koppelen zonder de data zelf te bevatten.
Definieer voor lange berekeningen de herstelpunten die de applicatie kan produceren en controleer of ze leesbaar zijn. Bewaar de benodigde parameters samen met de opgeslagen status. Als een proces nog naar een bestand schrijft terwijl het wordt gekopieerd, beschouw die kopie dan niet als een consistente status zonder een mechanisme dat door de applicatie is voorzien. Geef de voorkeur aan een afgeronde en geïdentificeerde back-up en geef de naam ervan door aan degene die het vervolg voorbereidt.
De overdracht en het gebruik van het resultaat afzonderlijk controleren
Draag een eerste resultaat over naar de eindbestemming vóór de laatste dag. Vergelijk de lijst van verwachte bestanden en hun groottes, en daarna de hashes wanneer je procedure dat voorziet. De SHA-2-tools van GNU berekenen en verifiëren bestandshashes. Een manifest moet overeenkomen met definitieve bestanden en worden bewaard met een bekende herkomst; het valideert op zichzelf niet de vakinhoudelijke kwaliteit van de inhoud.
Open na de integriteitscontrole het resultaat vanaf de bestemming met de applicatie die het zal gebruiken. Controleer het aantal items, het formaat en de externe afhankelijkheden. Een perfect gekopieerd archief kan alsnog vanaf het begin een ontbrekend bestand bevatten. De verantwoordelijke voor ontvangst moet dus twee afzonderlijke zaken bevestigen: de kopie komt overeen met het verwachte pakket, en dat pakket dient daadwerkelijk voor de volgende stap.
sha256sum --check MANIFEST.sha256Vóór het einde van de periode beslissen over het bewaren
In het voorbeeld van 852 GB zou het verwijderen van het werkarchief na bevestiging van een onafhankelijke kopie de behoefte vóór marge terugbrengen tot 672 GB. Die winst is alleen geldig als het herstellen van het archief mogelijk blijft en als geen volgende stap het ter plaatse vereist. De beslissing is aan de eigenaar van de gegevens; ze mag niet worden geïmproviseerd door degene die een gebrek aan ruimte vaststelt.
Veelgemaakte fouten zijn alle versies zonder limiet bewaren, wachten tot het einde om de bestemmingsrechten te testen en een kopie op dezelfde locatie als uitweg rekenen. Leg de lijst vast van wat bewaard blijft, de verantwoordelijke voor de export en diens eindcontrole. Bij 3, 7 of 30 dagen maken de duur van de berekening en die van het ophalen deel uit van dezelfde planning.
Vragen om te beslissen
Moeten alle tijdelijke bestanden bewaard blijven?
Niet noodzakelijk. Identificeer de bestanden die de applicatie opnieuw kan opbouwen en vergelijk hun volume met de kost en de tijd van die heropbouw. Bewaar de elementen die nodig zijn voor een gevalideerde hervatting. Het verwijderen van een bestand dat nog in gebruik is of van een onmisbare toestand moet worden uitgesloten van de opruimregel.
Is een correcte hash voldoende om een export te aanvaarden?
Ze verifieert de overeenkomst met de verwachte hash. Er moet nog worden gecontroleerd of het manifest de juiste bestanden dekt en of het resultaat met zijn afhankelijkheden opent. De aanvaarding combineert dus integriteit van het pakket en functionele controle vanaf de bestemming.
Kan GPU-geheugen de ontbrekende schijfruimte vervangen?
Nee: VRAM bevat de gegevens die de berekening op de kaart gebruikt. Het vervangt niet de bestemming van de bestanden of het bewaren na de huurperiode. Beschrijf GPU-geheugen, systeemgeheugen en opslag afzonderlijk in je dossier.