第 9 章 — SfM 后端

位置

专家视图 → 检查器 → 训练配置 → Camera Alignment 选择器,条目"Apple Photogrammetry"。

技术细节

封装了 Apple 内置的摄影测量框架,该框架最初 是为 Object Capture 开发的。Apple 在内部通过专有流水线提取特征 (步骤未公开),通过多视角匹配进行验证,并在 Apple Silicon Neural Engine + GPU 上求解 Bundle Adjustment。该后端完全符合 App Store 要求 (无外部二进制、Sandbox=true、设备端) ,但仅提供相机位姿 和粗略点云 — 没有轨迹长度或重投影误差等诊断指标。按 Apple 的建议,可扩展到数百张图像。在线性无人机飞行或大型户外场景中 超过约 500 帧时,可重现地观察到崩溃或单个相机被静默丢弃。

位置

菜单"File → Import COLMAP / Metashape Workspace…" (Cmd+⇧+I) 或拖放包含 sparse/0/cameras.txt 的文件夹。

技术细节

读取标准化的 COLMAP 文本导出 — sparse/0/ 子文件夹中的三个文本文件 cameras.txt、images.txt、 points3D.txt — 并转换为内部 SfM 结果模型。格式定义与 COLMAP 二进制导出相同,只是用 ASCII 而非二进制。Agisoft Metashape、 RealityCapture、PolyCam 以及 ETH3D 基准测试都以这种布局输出。 解析器与二进制解析器共享相机模型检测 (所有常见模型:SIMPLE_PINHOLE、 PINHOLE、OPENCV、OPENCV_FISHEYE、FULL_OPENCV)。对注释行和空行 具有鲁棒性。在测试中可扩展到约 1 400 个相机 (ETH3D Tunnel) 而不出问题。

位置

专家视图 → 检查器 → 训练配置 → Camera Alignment 选择器,条目"Native (Beta)"。增量式是该后端的默认模式 — 检查器中没有单独的 Mapper 选择器。通过 CLI 可以使用 –native-sfm 或 –sfm-mapper incremental 显式设置模式。

技术细节

整套 SfM 流水线的自主 GPU 加速实现: FAST+BRIEF 特征 或 通过 CoreML 的 SuperPoint+LightGlue (配合 –coreml-features),接着是 Hamming-KNN 匹配、RANSAC 基础矩阵、轨迹构建、初始对选择、双视图 Bootstrap (F→E 加 DLT)、 带 PnP 注册和多视角三角化的贪婪增量 Mapper,最后是通过 Cholesky 求解的 Schur 化简 Levenberg-Marquardt 加 Huber Loss 和解析雅可比 的 Bundle Adjustment。完全符合 App Store 要求:无外部二进制、 Sandbox=true。配合阶段 3.10 交付的 R2 崩溃检测器:如果应用程序 注册的输入帧少于 60 %,或者每相机点数低于 13,则自动回退到 全局 Mapper (Q5)。经验上在环绕/转盘场景上很干净;在更一般的 运动 (无人机飞行、几何复杂的室内空间) 上成功率较低 — 但检测器 会捕获这些情况。可可靠扩展到约 200 个相机,更高需要明显更长的 运行时间。

位置

当增量 Mapper (Q4) 触发崩溃检测器时 (注册的输入帧少于 60 %,或每相机点数低于 13),自动调用。 仅可通过 CLI –sfm-mapper global 手动强制启用。在检查器中, 全局方法没有单独的选择器可访问 — 由应用程序自行决定何时切换。

技术细节

原生流水线的全局变体。先进行 特征提取 + 匹配 (与 Q4 相同),然后对所有已验证的对进行相对位姿 估计,接着是旋转平均 (在世界坐标系中同步所有相机旋转) 和 平移平均 (基于矩阵无关的稀疏公式的 LSQR,以避免在大量相机时 出现整数溢出)。原则上可扩展到约 5 000 个相机,但实际上超过几百 个相机后质量下降 — K-1351 上的阶段 3.8 §5 验收门测量结果是 finalLoss 0.07,而目标是 0.0115。被作为"回退层":在增量 Mapper 退化时启用,但本身不再接受质量检验。

位置

文件菜单 → "Import COLMAP / Metashape Workspace…" (Cmd+⇧+I)。拖放包含 sparse/0/cameras.{bin,txt} 和 images/ 的文件夹。

技术细节

自动检测通过拖放或 Open 面板 选择的文件夹是否符合三种 COLMAP Workspace 布局之一 (sparse/0/、sparse/ 或根目录),以及重建是二进制 (cameras.bin) 还是文本 (cameras.txt)。二进制路径使用 COLMAP 二进制解析器,文本路径使用 ETH3D 加载器 — 两者都生成 相同的 SfM 结果模型,流水线的其余部分 (导入图像、启动 MCMC 训练) 与来源无关。图像通过应用程序沙盒书签系统以 security-scoped 方式打开,因此导入在 App Store 版本中也能工作。 特别针对"重用 Metashape 导出而无需重新计算重建"的情况。 文件菜单条目中提到的检测会在所选文件夹不是可识别的 Workspace 时在应用日志中发出警告。