CapordiaКласифікувати файли за роллю та власником
Відокремте вхідні дані, необхідні для обробки, проміжні файли та результати, які потрібно зберегти. Вхідні дані можуть надходити зі сховища або архіву; тимчасові файли можна відтворити; результати потребують постійного місця призначення. Додайте четверту категорію: стани, які дають змогу відновити виконання. Точка відновлення не збігається ні з оригінальними вхідними даними, ні з кінцевим результатом.
Для кожної категорії вкажіть власника та правило збереження. Хто може дозволити видалення кешу? Хто підтверджує, що результат придатний до використання? Який файл відсутній, якщо робота зупиняється? Зафіксуйте ці відповіді в проєктній картці разом з обраним місцем призначення. Каталог описує GPU; обсяги диска, квоти та умови збереження потрібно перевірити для фактично наданого обсягу.
Обчисліть піковий обсяг сховища, а не лише початковий архів
Оцініть максимальний обсяг під час виконання. Розпаковані образи, робочі копії або послідовні версії можуть займати більше місця, ніж отриманий архів. Правильний розрахунок додає елементи, які існують одночасно. Не слід додавати взаємовиключні етапи або забувати, що експорт може готуватися, поки обробка ще створює свої вихідні дані.
Вигаданий приклад з десятковими ГБ: команда зберігає архів обсягом 180 ГБ під час підготовки 420 ГБ розпакованих файлів. Вона передбачає 120 ГБ тимчасових файлів, 60 ГБ вихідних даних і три точки відновлення по 24 ГБ. Якщо все існує одночасно, пік становить 180 + 420 + 120 + 60 + 72 = 852 ГБ. Обраний внутрішній запас 20 % збільшує потребу до 1 022,4 ГБ. Це припущення проєкту не є обсягом, включеним у пропозицію.
| Категорія | Розрахунок | Обсяг |
|---|---|---|
| Збережений вхідний архів | 1 × 180 ГБ | 180 ГБ |
| Розпаковані вхідні дані | 1 × 420 ГБ | 420 ГБ |
| Тимчасові файли в піковий момент | Робоче припущення | 120 ГБ |
| Вихідні дані в підготовці | Робоче припущення | 60 ГБ |
| Точки відновлення | 3 × 24 ГБ | 72 ГБ |
| Разом до запасу | Сума п’яти категорій | 852 ГБ |
Перевірте доступне місце перед запуском серії
Визначте доступний простір у файловій системі, яка фактично прийматиме проєкт, а потім перевірте права на запис і очікуваний максимальний розмір файлів. За дуже великої кількості дрібних файлів зверніть увагу також на доступність inode, якщо система їх використовує. GNU df розрізняє доступні блоки та inode: показник ємності в байтах не охоплює всіх причин невдачі створення файлу.
Якщо Linux і інструменти GNU наявні, наведені нижче команди дають змогу виконати перегляд поточного каталогу лише для читання. Запишіть час і шлях, які перевірялися. Ці вимірювання не вимірюють швидкість сховища й не є резервуванням простору; додатково можуть застосовуватися квоти. Запитайте про їхні межі, перш ніж вважати підготовку завершеною.
df -B1 --output=source,size,used,avail,pcent,target .
df -i .Організуйте назви та стани, які команда може перечитати
Давайте вихідним даним назву, яка ідентифікує партію та версію обробки. Відокремте файли в роботі від перевірених результатів; тека доставки не повинна змішувати прийнятий результат і часткову копію з тією самою назвою. Реєстр може пов’язувати ідентифікатор партії, версію коду, місце розташування та стан перевірки, не містячи самих даних.
Для тривалих обчислень визначте точки відновлення, які застосунок уміє створювати, і перевірте їхнє зчитування. Зберігайте потрібні параметри разом зі збереженим станом. Якщо процес ще записує у файл під час його копіювання, не вважайте цю копію узгодженим станом без механізму, передбаченого застосунком. Надавайте перевагу завершеному та ідентифікованому збереженню, а потім передайте його назву особі, яка готує продовження.
Контролювати передавання та використання результату окремо
Передайте перший результат до його кінцевого призначення ще до останнього дня. Порівняйте список очікуваних файлів та їхні розміри, а потім і контрольні суми, якщо ваша процедура їх передбачає. Інструменти SHA-2 від GNU обчислюють і перевіряють контрольні суми файлів. Маніфест має відповідати завершеним файлам і зберігатися з відомим походженням; сам по собі він не підтверджує фахову якість вмісту.
Після перевірки цілісності відкрийте результат із місця призначення за допомогою програми, яка його використовуватиме. Перевірте кількість елементів, формат і зовнішні залежності. Бездоганно скопійований архів усе одно може містити файл, якого від самого початку бракувало. Тож відповідальний за приймання має підтвердити дві різні речі: копія відповідає очікуваному пакету, і цей пакет справді придатний для наступного етапу.
sha256sum --check MANIFEST.sha256Вирішити питання збереження до кінця періоду
У прикладі з 852 ГБ видалення робочого архіву після підтвердження незалежної копії знизило б потребу до 672 ГБ до врахування запасу. Цей виграш чинний лише за умови, що відновлення архіву залишається можливим і жоден наступний етап не потребує його на місці. Рішення належить власникові даних; його не повинна ухвалювати на власний розсуд людина, яка виявила брак місця.
Типові помилки: зберігати всі версії без обмежень, чекати до кінця, щоб перевірити права доступу в місці призначення, і вважати копію в тому самому місці рішенням для виведення. Визначте список того, що потрібно зберегти, відповідального за експорт і його фінальний контроль. За 3, 7 чи 30 днів тривалість обчислення й тривалість отримання є частинами одного плану.
Запитання для ухвалення рішення
Чи потрібно зберігати всі тимчасові файли?
Не обов’язково. Визначте ті, які програма може відтворити, а потім порівняйте їхній обсяг із витратами та часом на це відтворення. Зберігайте елементи, потрібні для підтвердженого відновлення роботи. Видалення файлу, який ще використовується, або стану, без якого не обійтися, має бути виключене з правила очищення.
Чи достатньо правильної контрольної суми, щоб прийняти експорт?
Вона перевіряє відповідність очікуваній контрольній сумі. Залишається перевірити, що маніфест охоплює потрібні файли і що результат відкривається разом зі своїми залежностями. Тож приймання поєднує цілісність пакета та функціональний контроль із місця призначення.
Чи може пам’ять GPU замінити брак місця на диску?
Ні: VRAM зберігає дані, які використовує обчислення на карті. Вона не замінює місце призначення файлів і збереження після завершення періоду оренди. Опишіть окремо пам’ять GPU, системну пам’ять і сховище у своїй документації.