绘制应用所需的各项交换
对每个数据流,记录其起点、目的地以及需要它的人员。补充所选协议、连接发起方向、频率和预期数据量。初始导入、管理连接和持续调用的服务,其准备标准并不相同。未知目的地是一个待解决的问题,而不是一个可以一概放行的许可。
这份清单帮助您的团队判断哪些内容应开放访问、哪些可以保持关闭,并明确由谁审批变更。连接特性无法从 GPU 型号推断:带宽、地址、端口和访问方式都必须针对实际提供的环境逐项核实。下表为一个虚构项目,并非宣称已包含的服务。
| 流量 | 需明确的标准 | 负责人 |
|---|---|---|
| 管理终端到环境 | 协议、目的地与授权访问 | 访问负责人 |
| 数据存储到 GPU 作业 | 初始数据量、频率、断点续传 | 数据所有者 |
| 应用到外部依赖 | 目的地、认证方式、可接受的时延 | 应用负责人 |
| 结果到留存目的地 | 最终数据量与接收校验 | 交付物负责人 |
测量对工期真正重要的传输
请选取具有代表性的样本,文件数量和大小应接近计划中的作业规模。单个归档包与成千上万个小文件对流程造成的压力并不相同。请分别测量导入与导出,并指向实际选定的目的地。请记录有效数据量、耗时、工具、参数和测试条件,以便对第二次测量结果进行比较。
iperf3 之类的工具用于测量客户端与测试服务器之间的网络流量。其文档特别区分了正向与反向。此类测试需要两端均已获授权;它本身无法证明文件复制的速度,因为后者还取决于存储、处理过程和协议。请先从真正影响您排期的应用层传输开始。
把测量结果转化为传输时间窗口
完全虚构的示例:需导出 600 GB。此处 1 GB 等于 1 000 MB,带宽以 MB/s 表示。按有效速率 120 MB/s 计算,600 000 ÷ 120 得出 5 000 秒,即 1 小时 23 分 20 秒。若采用更保守的 70 MB/s 假设,则约为 8 571 秒,即 2 小时 22 分 51 秒。这些速率均不代表 Capordia 的任何方案。
如果团队再留出 45 分钟用于打包和接收校验,第二种假设大约占用 3 小时 08 分。可以预留 3 小时 10 分的时段,再单独加上自己认为必要的余量。该时间窗口是有条件的:数据量、文件数量或传输条件一旦变化,就必须重新计算。不要用接口的理论带宽来代替这一估算。
| 假设 | 仅传输的时长 | 含 45 分钟准备与校验 |
|---|---|---|
| 有效速率 120 MB/s | 1 小时 23 分 20 秒 | 2 小时 08 分 20 秒 |
| 有效速率 70 MB/s | 约 2 小时 22 分 51 秒 | 约 3 小时 07 分 51 秒 |
在不过度开放的前提下准备访问与续传
请先根据预期信息核实目的地和主机身份,再核实授权和工作路径。遇到访问被拒绝时,不能通过在共享文档中分发命令账户密码来解决。环境访问权限与 Capordia 账户登录用途不同;请记录各自的负责人,但不要复制其密钥。
如果您的流程采用 OpenSSH SFTP,则传输通过 SSH 进行。其文档还指出,部分续传的前提是已存在的片段与源文件一致。如果源文件已更改,盲目续传可能产生错误的副本。因此请固定待传输的版本,识别出部分文件,并在宣布交付完成前校验结果。
用可观察的步骤逐步诊断等待问题
如果文件已到达但应用没有响应,请检查应用层流量,而不是改动整个配置。请区分域名解析、连接建立、身份验证、首个数据读取和完整传输。记录时间、方向和有用的准确消息。与支持人员共享内容时,请排除凭据、令牌和数据。
如果复制开始后逐渐变慢,请在相同条件下比较第二次传输,并观察相邻环节:源端读取、归档准备、目标端写入。“GPU 占用率低”这一现象不足以断定是网络的原因。诊断材料应说明什么在等待什么,以及哪种观察结果能够区分各种可能的原因。
区分外部访问与 GPU 之间的通信
用于访问应用程序的网络与多卡计算的内部通信满足不同的需求。CUDA 指南描述了设备之间数据与计算的显式分配,其访问能力取决于系统。无论是显卡数量,还是从您的工作站成功复制文件,都不能证明分布式处理能够正常运行。
因此,请描述预期的场景:是分配给各显卡的独立任务,还是在显卡之间交换数据的处理。然后核实您的软件实际使用的路径。当所需的流正常运行、检查项已记录,并且有人知道如何恢复中断的传输时,接收才算完成。此时所确定的条件将纳入部署材料。
决策要点
为什么在规划中要区分 MB/s 和 Mb/s?
一个字节包含八位。按照示例中的十进制单位,70 MB/s 相当于 560 Mb/s。混淆两者会使估算值乘以或除以八。请在每项测量中标明单位,并依据传输的有效速率进行计算。
需要测试传输的两个方向吗?
需要,如果项目先导入数据再导出结果。路径、目标和条件可能不同。导入的良好测量结果并不能保证最终的取回能在同一时间窗口内完成;请测试每个截止时间所依赖的方向。
加密传输是否就可以免去文件校验?
不可以。传输与数据包验证回答的是不同的问题。还应检查预期的文件、其完整性以及能否从目标端打开。文件选择错误也可能被正确传输,却始终无法使用。