无需 KYC 的加密货币GPU 租赁 · 3、7 或 30 天
Capordia
语言: 简体中文
菜单
运维 / 数据

预先考虑留存的数据。

一个计算周期始于可用数据,终于可回收的结果。请像选择 GPU 一样认真地准备这两个环节:最大数据量、存储位置、校验以及回收责任,都必须在任务开始前明确。

01

按用途和负责人对文件分类

请区分处理所需的输入、中间文件和需保留的结果。输入可来自代码仓库或归档;临时文件可以重新生成;结果需要持久的存放位置。再增加第四类:可让执行从中恢复的状态。恢复点既不同于原始输入,也不同于最终结果。

为每一类文件指定负责人和保留规则。谁有权批准删除缓存?谁确认结果可用?如果工作中断,缺少的是哪个文件?请把这些答案连同选定的存储位置写入项目说明。目录描述的是 GPU;磁盘容量、配额和保留方式必须针对实际提供的范围进行核实。

02

计算存储峰值,而不只是初始归档

评估执行期间的最大数据量。解压后的镜像、工作副本或各个版本占用的空间可能超过收到的归档。正确的计算方法是将同一时刻同时存在的各项相加,既不能把互斥阶段相加,也不能忘记导出文件可能正在准备,而处理过程仍在生成输出。

以下为虚构示例,采用十进制 GB:某团队保留一份 180 GB 的归档,并准备 420 GB 的解压文件。同时预计有 120 GB 临时文件、60 GB 输出以及三个各 24 GB 的检查点。如果这些全部同时存在,峰值为 180 + 420 + 120 + 60 + 72 = 852 GB。若内部预留 20% 的余量,需求则达到 1 022.4 GB。此项目假设并非任何方案所包含的容量。

所有类别同时存在时的虚构预算
类别计算数据量
保留的输入归档1 × 180 GB180 GB
解压后的输入1 × 420 GB420 GB
峰值时的临时文件工作假设120 GB
正在准备的输出工作假设60 GB
检查点3 × 24 GB72 GB
预留前的总计五个类别之和852 GB
03

启动批量任务前核实可用存储位置

查看实际承载项目的文件系统上的可用空间,然后核实写入权限以及预期的文件最大大小。如果存在大量小文件,在使用 inode 的系统上还要关注 inode 的可用情况。GNU df 会区分可用块和 inode:以字节表示的容量指标并不能概括文件创建失败的所有原因。

如果系统中有 Linux 和 GNU 工具,以下命令可以对当前目录进行只读检查。请记录检查的时间和路径。这些检查并不测量存储速度,也不构成空间预留;此外还可能存在额外的配额限制。在认为准备工作完成之前,请确认其适用范围。

GNU 只读检查示例,请根据工作目录调整
df -B1 --output=source,size,used,avail,pcent,target .
df -i .
04

组织团队可以复查的名称和状态

为输出命名时要能标识批次和处理版本。将进行中的文件与已校验的交付物分开;交付目录不应把已接受的结果和同名的部分副本混在一起。可以用一份登记表关联批次标识、代码版本、存储位置和校验状态,而不必包含数据本身。

对于长时间计算,请确定应用程序能够生成的检查点,并核实其可读性。将必要的参数与保存的状态一起保留。如果进程在复制期间仍在写入某个文件,在没有应用程序提供机制的情况下,不能将该副本视为一致的状态。应优先采用已完成且已标识的备份,然后将其名称交给负责后续工作的人员。

05

将结果的传输与使用分开检查

在最后一天之前,先将一份结果传输到最终目的地。对比预期文件清单及其大小,如果您的流程有要求,再对比哈希值。GNU 的 SHA-2 工具可以计算并校验文件哈希值。清单必须与最终完成的文件相对应,并且与已知来源一同保存;但清单本身并不能验证内容的业务质量。

完成完整性校验后,从目的地用实际会使用该结果的应用打开它。检查元素数量、格式和外部依赖。一份复制得完美无缺的归档,仍可能从一开始就缺少某个文件。因此,接收负责人必须确认两件不同的事:副本与预期的包一致,且该包确实用于下一步。

示例:用已准备好的 SHA-256 清单校验收到的文件
sha256sum --check MANIFEST.sha256
06

在租期结束前决定是否保留

在 852 GB 的示例中,如果确认存在一份独立副本后删除工作归档,所需空间在留出余量前可降至 672 GB。只有在该归档仍可恢复、且后续步骤不要求在本地保留它时,这一节省才成立。决定权属于数据所有者;不应由发现空间不足的人临时决定。

常见的错误包括:无限制地保留所有版本、等到最后才测试目的地权限,以及把位于同一位置的副本当作导出方案。确定要保留的清单、导出负责人及其最终检查。无论是 3 天、7 天还是 30 天,计算时长和取回时长都属于同一个计划。

决策要点

所有临时文件都需要保留吗?

不一定。找出应用可以重新生成的文件,再将其体积与重建的成本和时间进行对比。保留经过验证的恢复所必需的内容。删除仍在使用的文件或不可缺少的状态,应被排除在清理规则之外。

哈希值正确就足以接受导出吗?

它能验证与预期哈希值是否一致。接下来还需验证清单是否覆盖了正确的文件,以及结果能否连同其依赖一起打开。因此,验收需要同时满足包完整性检查和从目的地进行的功能检查。

GPU 显存能替代缺失的磁盘空间吗?

不能:VRAM 存放的是显卡上计算所用的数据。它既不能替代文件的最终目的地,也不能替代租期结束后的保存。请在您的方案中分别说明 GPU 显存、系统内存和存储。

继续处理查看配置查看常见问题