大型tomogram跨设备交接，为什么需要校验和任务日志

研究团队把一个大型tomogram从工作站复制到存储，再交给GPU节点。文件能打开，大小也接近原件，可是接收者不知道它是否经过binning、voxel size是什么、参考和mask属于哪一版，也找不到产生坐标与平均结果的那次任务。

大型tomogram交接需要同时证明文件收齐且未变、体数据几何与处理参数没有丢失、每个输出能回到具体job和输入；校验和负责字节完整，任务日志负责科学语境，两者缺一都不能称为可继续分析。

先定义交付的是一个image set

大型体文件不是孤立对象。EMPIAR把一个条目组织为一个或多个逻辑完整的image set，每个集合放在独立目录，并建议把完整原始数据与相关3D重建一起保存。机构内部不必复制公开归档结构，但需要同样清楚的集合边界。

一个tomogram交接目录至少区分原始或上游影像、重建体、参考体积、mask、坐标、分割、处理脚本、环境、日志和派生结果。每个对象记录角色、版本、格式、大小、创建时间和责任者。

EMPIAR按独立目录组织逻辑完整的image set，并把坐标、分割、脚本和工作流视为可配套保存的资料。单一tomogram便于浏览，完整image set才能支持重建、定位和下游复核。

用manifest证明收齐并定位变化

BagIt要求manifest逐一列出全部payload文件，并把相对路径与校验值对应。交接可以采用同样方法，对目录内每个体文件、XML、脚本和说明计算SHA-256，而不是只给压缩包一个总哈希。

BagIt还区分complete与valid：complete先检查必需结构、manifest条目和实际文件集合是否齐全，valid再验证每个校验值。BagIt要求manifest逐一列出全部payload文件，并把收齐对象与校验通过分为complete和valid。

接收端先比较目录与manifest差集，再独立重算。清单有而目录缺少、目录多出未登记对象、路径重复或哈希不同，都要分别报告。旧版本不覆盖，新版本用新ID和manifest，并说明哪些对象改变。

校验和回答文件字节是否一致，任务日志回答这些字节采用什么几何、参数和软件产生。两份证据不能合并成一个“传输成功”。

几何元数据会改变体数据含义

Localize.pytom支持MRC、CCP4和EM等体数据，并在处理时转换格式。其工作流要求tomogram、参考和mask使用一致voxel size，自动binning也会一致应用到这些输入。

PyTom体数据、参考和mask需要一致voxel size，binning会同时影响这些输入。交接表因此要记录原格式、转换后格式、体尺寸、数据类型、voxel size、轴顺序、单位、binning factor和转换工具。

文件能被软件打开，只证明语法可能被理解。若接收端把不同voxel size的参考和tomogram放进同一任务，坐标、尺寸与匹配尺度都会失去原来的含义。mask的尺寸和坐标系也必须关联到明确的体数据版本。

若体数据被裁切、重采样或转换，产生新object ID，保留父对象、命令、参数和输出哈希。不要用相同文件名覆盖原始体，让接收者无法判断何时发生变换。

job ID连接输入、参数和输出

Localize.pytom为任务分配唯一job ID，并要求用户提交运行参数。历史webserver的结果只保留七天，这个期限不应外推到其他平台，却说明远端任务状态和结果可能不是长期档案。

任务日志记录job ID、队列提交时间、开始结束时间、主机或节点、软件与依赖版本、输入object ID、参考、mask、角度采样、分数阈值、并行设置、随机状态、退出码和输出清单。

逐文件manifest定位遗漏或字节变化，job ID和参数日志再把tomogram、参考、坐标与输出连接到同一次运行。复制完成后如果只留下结果目录，却删除调度日志和参数文件，接收者无法分辨两个相似输出来自哪一版输入。

大型任务还要记录中断与恢复。分块传输或断点续传前确认源对象哈希未变；任务重启则生成新的run ID并关联旧任务，不能把两次运行的日志拼成一次无中断结果。

坐标和派生结果必须能反向追查

PyTom定位结果包括候选密度和坐标，坐标可用XML保存并继续用于精细对齐、平均与分类。它们不是附属小文件，而是下游分析的入口。

坐标文件记录所对应tomogram object ID、坐标原点、轴顺序、voxel size、单位、筛选阈值和生成job ID。平均体、分类或图表也引用具体坐标与run ID。

接收前选择一份坐标或平均结果，沿着run ID反向找到输入体、参考、mask和参数，再核对这些对象的哈希。链路任何一步断开，都标成语境缺口，不用“文件都在”替代。

接收回执分三层

第一层是传输：文件集合、字节数、SHA-256与异常。第二层是语境：image set、格式、voxel size、binning、坐标系、软件和参数是否齐全。第三层是代表性执行：能否打开一个体、读取一份坐标，并按日志重建一项非破坏性检查。

接收端比较文件差集、独立重算SHA-256，并从一份坐标或平均结果反向找到输入体、参考、mask、voxel size和job参数。每层单独签发状态，避免字节valid被误写成研究可复核。

只用于临时浏览且能从受控归档重新取得的派生预览，可以简化任务日志。只要资料支撑重建、定位、平均、分类或论文结果，原始对象、几何元数据与运行记录都应保留。

传输前做一次小规模失败演练

正式移动数百GB资料前，先复制一个包含小体、参考、mask、坐标和日志的测试image set。分别删除一份坐标、修改一个体文件字节、改变voxel size说明，再把job日志中的输入ID换成不存在的版本。

接收工具应把四类问题分开报告：对象缺失、哈希不一致、几何元数据冲突和来源链断开。因为故障原因不同，修复动作也不同；如果系统只给一个“同步失败”，真正的大数据传输发生问题时仍需重新人工排查。

测试还应跨越实际使用的文件系统。大小写、Unicode、长路径、稀疏文件或符号链接在工作站、网络存储和GPU节点上可能表现不同，因此manifest使用明确相对路径，同时保存原始路径供审计。发现路径变化时，新建映射表，不直接重命名后假装对象从未改变。

环境与资源记录防止“同参数、不同运行”

大型tomogram任务可能受GPU型号、驱动、库版本、并行线程和内存限制影响。日志记录容器或环境锁文件、PyTom版本、提交脚本、资源请求和实际分配。若软件自动选择不同算法路径，也把选择结果写入运行日志。

相同参数文本并不保证读取到相同对象。运行开始时将输入object ID与哈希写入日志，结束时再记录输出哈希和状态。这样当源目录后来出现新版本时，仍能证明旧结果实际使用哪一份字节。

任务失败后不要只保留最后一行错误。保存标准输出、标准错误、调度状态、退出码、重试次数与人工处理。由于重试可能改变节点、环境或输入时间，新的尝试使用新run ID；原任务保留为失败证据并指向后续任务。

大文件可以分批验证，但不能抽样声称完整

为减少等待，可以按目录或固定批次传输并保存进度。每批绑定同一版总manifest，完成后记录对象数量、总字节数和校验结果。恢复前先验证已完成批次及源对象未变，再继续未完成集合。

随机打开几个体只能检查格式与语义样本，不能替代全量差集和哈希。因为未抽中的对象仍可能遗漏或损坏，只有全部manifest条目验证通过才可写valid；代表性打开另列为语义检查。

若使用压缩归档，总包哈希和解压后逐文件哈希都保留。总包哈希适合确认传输容器是否改变，逐文件manifest则能指出具体问题并支持只补传受影响对象。压缩成功也不证明内部image set、几何元数据和运行来源完整。

完整交接仍不是科学结论

文件完整、格式可打开和任务可重跑都不能证明候选定位、生物学身份或研究结论正确。模板匹配分数受参考、采样、missing wedge和阈值影响，仍需方法学与生物学验证。

交接证据的作用是把问题定位到传输、版本、几何、环境或方法中的具体一层。它让另一台设备从同一组事实继续工作，不替研究者宣布结果正确。

资料来源

• Nucleic Acids Research / PyTom authors：《Localize.pytom: a modern webserver for cryo-electron tomography》，发布或更新于 2015-04-30
• EMBL-EBI / EMPIAR：《EMPIAR policies and processing procedures》，发布或更新于 2026-08-03
• RFC Editor / BagIt authors：《The BagIt File Packaging Format (V1.0)》，发布或更新于 2018-10-01