CapordiaClassificare i file per ruolo e per proprietario
Separa gli input necessari all'elaborazione, i file intermedi e i risultati da conservare. Gli input possono provenire da un repository o da un archivio; i file temporanei possono essere ricreati; i risultati richiedono una destinazione durevole. Aggiungi una quarta famiglia: gli stati che permettono di riprendere un'esecuzione. Un punto di ripresa non si confonde né con gli input originali né con il risultato finale.
Per ogni famiglia, indica un proprietario e una regola di conservazione. Chi può autorizzare l'eliminazione di una cache? Chi conferma che un risultato è utilizzabile? Quale file manca se il lavoro si interrompe? Annota queste risposte nella scheda di progetto, con la destinazione scelta. Il catalogo descrive la GPU; le capacità di disco, le quote e le modalità di conservazione devono essere verificate per il perimetro effettivamente fornito.
Calcolare il picco di archiviazione, non solo l'archivio iniziale
Valuta il volume massimo durante l'esecuzione. Immagini decompresse, copie di lavoro o versioni successive possono occupare più dell'archivio ricevuto. Il calcolo corretto somma gli elementi che coesistono nello stesso istante. Non bisogna né sommare fasi esclusive, né dimenticare che un export può essere preparato mentre l'elaborazione produce ancora i suoi output.
Esempio fittizio, con GB decimali: un team conserva un archivio di 180 GB durante la preparazione di 420 GB di file decompressi. Prevede 120 GB di temporanei, 60 GB di output e tre punti di ripresa da 24 GB. Se tutto coesiste, il picco vale 180 + 420 + 120 + 60 + 72 = 852 GB. Un margine interno scelto del 20% porta il fabbisogno a 1.022,4 GB. Questa ipotesi di progetto non è una capacità inclusa in un'offerta.
| Categoria | Calcolo | Volume |
|---|---|---|
| Archivio di input conservato | 1 × 180 GB | 180 GB |
| Input decompressi | 1 × 420 GB | 420 GB |
| Temporanei al picco | Ipotesi di lavoro | 120 GB |
| Output in preparazione | Ipotesi di lavoro | 60 GB |
| Punti di ripresa | 3 × 24 GB | 72 GB |
| Totale prima del margine | Somma delle cinque categorie | 852 GB |
Verificare la posizione utilizzabile prima di lanciare una serie
Rileva lo spazio disponibile sul file system che ospiterà realmente il progetto, poi verifica i permessi di scrittura e la dimensione massima prevista dei file. Con moltissimi file piccoli, controlla anche la disponibilità degli inode quando il sistema li utilizza. GNU df distingue i blocchi disponibili dagli inode: un indicatore di capacità in byte non riassume tutti i motivi di fallimento di una creazione di file.
Se Linux e gli strumenti GNU sono presenti, i comandi seguenti permettono una rilevazione in sola lettura della directory corrente. Annota l'ora e il percorso esaminati. Queste rilevazioni non misurano la velocità di archiviazione e non costituiscono una prenotazione di spazio; possono inoltre applicarsi quote aggiuntive. Chiedine il perimetro prima di considerare conclusa la preparazione.
df -B1 --output=source,size,used,avail,pcent,target .
df -i .Organizzare nomi e stati che il team può rileggere
Assegna agli output un nome che identifichi il lotto e la versione dell'elaborazione. Separa i file in corso dai deliverable controllati; la cartella di consegna non deve mescolare un risultato accettato e una copia parziale con lo stesso nome. Un registro può associare identificativo del lotto, versione del codice, posizione e stato di validazione senza contenere i dati stessi.
Per i calcoli lunghi, definisci i punti di ripresa che l'applicazione sa produrre e verifica la loro lettura. Conserva i parametri necessari insieme allo stato salvato. Se un processo sta ancora scrivendo in un file durante la sua copia, non considerare quella copia uno stato coerente senza un meccanismo previsto dall'applicazione. Preferisci un backup finalizzato e identificato, poi trasmetti il suo nome alla persona che prepara il seguito.
Controllare separatamente il trasferimento e l'uso del risultato
Trasferisci un primo risultato verso la sua destinazione finale prima dell'ultimo giorno. Confronta l'elenco dei file attesi e le loro dimensioni, poi le impronte quando la tua procedura lo prevede. Gli strumenti SHA-2 di GNU calcolano e verificano le impronte dei file. Un manifest deve corrispondere a file finalizzati ed essere conservato con una provenienza nota; da solo non convalida la qualità professionale del contenuto.
Dopo il controllo di integrità, apri il risultato dalla sua destinazione con l'applicazione che lo utilizzerà. Verifica il numero di elementi, il formato e le dipendenze esterne. Un archivio copiato perfettamente può comunque contenere un file mancante fin dall'inizio. Il responsabile della ricezione deve quindi confermare due cose distinte: la copia corrisponde al pacchetto atteso, e quel pacchetto serve davvero alla fase successiva.
sha256sum --check MANIFEST.sha256Decidere la conservazione prima della fine del periodo
Nell'esempio degli 852 GB, eliminare l'archivio di lavoro dopo la conferma di una copia indipendente farebbe scendere il fabbisogno a 672 GB prima del margine. Questo guadagno è valido solo se il ripristino dell'archivio resta possibile e se nessuna fase successiva lo richiede in loco. La decisione spetta al proprietario dei dati; non deve essere improvvisata da chi constata una mancanza di spazio.
Gli errori frequenti sono conservare tutte le versioni senza limite, aspettare la fine per testare i permessi di destinazione e considerare una copia situata nello stesso posto come soluzione di uscita. Stabilisci la lista da conservare, il responsabile dell'export e il suo controllo finale. Su 3, 7 o 30 giorni, la durata del calcolo e quella del recupero fanno parte dello stesso piano.
Domande per decidere
Bisogna conservare tutti i file temporanei?
Non necessariamente. Identifica quelli che l'applicazione può ricostruire, poi confronta il loro volume con il costo e il tempo di questa ricostruzione. Conserva gli elementi necessari a una ripresa convalidata. L'eliminazione di un file ancora in uso o di uno stato indispensabile deve essere esclusa dalla regola di pulizia.
Un'impronta corretta è sufficiente per accettare un export?
Verifica la corrispondenza con l'impronta attesa. Resta da controllare che il manifest copra i file giusti e che il risultato si apra con le sue dipendenze. L'accettazione combina quindi integrità del pacchetto e controllo funzionale dalla destinazione.
La memoria GPU può sostituire lo spazio su disco mancante?
No: la VRAM ospita i dati utilizzati dal calcolo sulla scheda. Non sostituisce la destinazione dei file né la conservazione dopo il periodo di noleggio. Descrivi separatamente memoria GPU, memoria di sistema e archiviazione nel tuo dossier.