Kapitel 9 — SfM-Backends

WO

Expert View → Inspector → Trainingskonfiguration → Camera Alignment-Picker, Eintrag „Apple Photogrammetry".

TECHNISCH

Wrapt Apples eingebautes Photogrammetry-Framework, das ursprünglich für Object Capture entwickelt wurde. Apple extrahiert intern Features mit einer proprietären Pipeline (Schritte sind nicht öffentlich dokumentiert), verifiziert sie über Multi-View-Matching und löst Bundle-Adjustment auf der Apple-Silicon Neural Engine + GPU. Das Backend ist vollständig App-Store-konform (keine externe Binary, Sandbox=true, on-device), liefert aber nur Kamera-Posen plus eine grobe Punktwolke — keine Diagnose-Metriken wie Track-Länge oder Reprojektionsfehler. Skaliert nach Apples Empfehlung bis ein paar Hundert Bilder. Bei mehr als ~500 Frames in linearen Drohnenflügen oder großen Outdoor-Szenen wurden reproduzierbar Crashes oder stilles Verwerfen einzelner Kameras beobachtet.

WO

Menü „File → Import COLMAP / Metashape Workspace…" (Cmd+⇧+I) ODER Drag-and-Drop eines Ordners mit sparse/0/cameras.txt.

TECHNISCH

Liest den standardisierten COLMAP-Text-Export — drei Textdateien cameras.txt, images.txt, points3D.txt im sparse/0/-Unterordner — und konvertiert in das interne SfM-Ergebnis-Modell. Selbe Format-Definition wie der COLMAP-Binär-Export, nur als ASCII statt Binär. Wird von Agisoft Metashape, RealityCapture, PolyCam und dem ETH3D-Benchmark in genau diesem Layout ausgegeben. Der Parser teilt die Camera-Model-Erkennung mit dem Binary-Parser (alle gängigen Modelle: SIMPLE_PINHOLE, PINHOLE, OPENCV, OPENCV_FISHEYE, FULL_OPENCV). Robust gegen Kommentar-Zeilen und leere Zeilen. Skaliert in Tests bis ~1 400 Kameras (ETH3D Tunnel) ohne Probleme.

WO

Expert View → Inspector → Trainingskonfiguration → Camera Alignment-Picker, Eintrag „Native (Beta)". Inkrementell ist der Default-Modus dieses Backends — es gibt im Inspector keinen separaten Mapper-Picker. Per CLI lässt sich der Modus explizit setzen mit –native-sfm oder –sfm-mapper incremental.

TECHNISCH

Eigene GPU-beschleunigte Implementierung der gesamten SfM-Pipeline: FAST+BRIEF-Features ODER SuperPoint+LightGlue über CoreML (mit –coreml-features), gefolgt von Hamming-KNN-Matching, RANSAC-Fundamentalmatrix, Track-Building, Initial-Pair-Auswahl, Two-View-Bootstrap (F→E plus DLT), greedy inkrementellem Mapper mit PnP-Registrierung und Multi-View-Triangulation und finalem Bundle-Adjustment via Schur-reduziertem Levenberg-Marquardt mit Huber-Loss und analytischen Jacobians über Cholesky-Solve. Komplett App-Store-konform: keine externe Binary, Sandbox=true. Mit dem in Phase 3.10 ausgelieferten R2-Collapse-Detektor: registriert die App weniger als 60 % der Eingabe-Frames oder fällt die Points-per-Camera-Rate unter 13, wird automatisch auf den globalen Mapper (Q5) ausgewichen. Empirisch sauber auf Orbit-/Turntable-Szenen; auf allgemeineren Bewegungen (Drohnenflug, Innenräume mit komplexer Geometrie) ist die Erfolgsrate niedriger — der Detektor fängt diese Fälle aber ab. Skaliert bis ~200 Kameras zuverlässig, höher mit deutlich längerer Laufzeit.

WO

Wird automatisch aufgerufen, wenn der inkrementelle Mapper (Q4) den Collapse-Detektor auslöst (weniger als 60 % der Eingabe-Frames registriert oder Points-per-Camera-Rate unter 13). Manuell forcierbar nur via CLI –sfm-mapper global. Im Inspector ist das Globale Verfahren über keinen separaten Picker erreichbar — die App entscheidet selbst, wann sie umschaltet.

TECHNISCH

Globale Variante der nativen Pipeline. Erst Feature-Extraktion + Matching wie Q4, dann Relativ-Pose-Schätzung für alle verifizierten Paare, anschließend Rotation-Averaging (synchronisiert alle Kamera-Rotationen im Welt-Koordinatensystem) und Translation-Averaging (LSQR-basiert auf einer matrix-freien Sparse-Formulierung, um Integer-Overflow bei großen Kamera-Mengen zu vermeiden). Skaliert auf ~5 000 Kameras im Prinzip, in der Praxis Quality-degraded oberhalb einiger Hundert Kameras — die Phase-3.8-§5-Akzeptanz-Gate-Messung auf K-1351 ergab finalLoss 0.07 statt der angestrebten 0.0115. Wird als „Fallback-Tier" gehandhabt: kommt zum Einsatz, wenn der inkrementelle Mapper degeneriert, wird selbst aber nicht erneut auf Qualität geprüft.

WO

File-Menü → „Import COLMAP / Metashape Workspace…" (Cmd+⇧+I). Drag-and-Drop eines Ordners mit sparse/0/cameras.{bin,txt} und images/.

TECHNISCH

Erkennt automatisch, ob ein per Drag-and-Drop oder Open-Panel ausgewählter Ordner einer der drei COLMAP-Workspace-Layouts entspricht (sparse/0/, sparse/, oder Root) und ob die Reconstruction binär (cameras.bin) oder Text (cameras.txt) vorliegt. Der binäre Pfad nutzt den COLMAP-Binär-Parser, der Text-Pfad den ETH3D-Loader — beide produzieren dasselbe SfM-Ergebnis-Modell und der Rest der Pipeline (Bilder importieren, MCMC-Training starten) ist agnostisch gegenüber der Quelle. Die Bilder werden über das App-Sandbox-Bookmark-System security-scoped geöffnet, sodass der Import auch in der App-Store-Version funktioniert. Speziell für den Fall „Metashape-Export ohne Rekonstruktion neu rechnen" gedacht. Die im File-Menü-Eintrag erwähnte Erkennung warnt im App-Log, falls der gewählte Ordner kein erkennbarer Workspace ist.