Rozdział 9 — Backendy SfM

GDZIE

Expert View → Inspector → sekcja „Cameras & Capture" → picker Camera Alignment, wpis „Apple Photogrammetry". Ustawienie domyślne w każdym buildzie.

TECHNICZNIE

Owija wbudowany framework Apple Photogrammetry, pierwotnie opracowany dla Object Capture. Apple wewnętrznie ekstrahuje cechy za pomocą zastrzeżonego potoku (kroki nie są publicznie udokumentowane), weryfikuje je poprzez dopasowanie wielowidokowe i rozwiązuje bundle adjustment na Neural Engine + GPU Apple Silicon. Backend jest w pełni zgodny z wymogami App Store (brak zewnętrznego pliku binarnego, Sandbox=true, on-device), dostarcza jednak jedynie pozy kamer plus zgrubną chmurę punktów — brak metryk diagnostycznych, takich jak długość ścieżki czy błąd reprojekcji. Skaluje się według zaleceń Apple do kilkuset zdjęć. Przy ponad ~500 klatkach w liniowych lotach dronem lub dużych scenach plenerowych zaobserwowano powtarzalne awarie lub ciche odrzucanie pojedynczych kamer.

GDZIE

Menu „File → Import COLMAP / Metashape Workspace…" (Cmd+⇧+I) LUB przeciągnięcie folderu z sparse/0/cameras.txt.

TECHNICZNIE

Odczytuje standardowy eksport tekstowy COLMAP — trzy pliki tekstowe cameras.txt, images.txt, points3D.txt w podfolderze sparse/0/ — i konwertuje na wewnętrzny model wyniku SfM. Ta sama definicja formatu co binarny eksport COLMAP, tylko w postaci ASCII zamiast binarnej. Wypisywany w dokładnie tym układzie przez Agisoft Metashape, RealityCapture, PolyCam oraz benchmark ETH3D. Parser dzieli rozpoznawanie modelu kamery z parserem binarnym i zna wszystkie jedenaście standardowych modeli kamer COLMAP — od SIMPLE_PINHOLE i PINHOLE przez SIMPLE_RADIAL (własne ustawienie domyślne COLMAP) i OPENCV aż po warianty fisheye. Odporny na linie komentarzy i puste linie. W testach skaluje się bez problemów do ~1400 kamer (ETH3D Tunnel).

GDZIE

Expert View → Inspector → sekcja „Cameras & Capture" → picker Camera Alignment, wpis „Native" (bez dawnego dopisku „(experimental)"). Tryb przyrostowy jest domyślnym trybem tego backendu; dla Native nie ma wyboru mappera. Znajdująca się poniżej linia „Mapper" należy wyłącznie do COLMAP: w buildach developerskich jest widoczna, ale wyszarzona, dopóki wybrany jest Native, w wersji App Store brakuje jej całkowicie. Naprawdę natywne linie — „FOV Override", „High-Quality" i „Native SfM Recipe" — nie znikają już przy innych backendach, lecz pozostają wyszarzone i podają w linii poniżej, co trzeba zmienić, by je ponownie odblokować. Między trybem przyrostowym a globalnym nie możesz przełączać się samodzielnie: przyrostowy jest ustawiony na stałe, a na tryb globalny aplikacja przełącza się wyłącznie sama (patrz Q5).

TECHNICZNIE

Własna, przyspieszona przez GPU implementacja całego potoku SfM: cechy FAST+BRIEF LUB SuperPoint+LightGlue przez CoreML (włączane przełącznikiem „High-Quality"; przy nieuporządkowanych zestawach zdjęć aktywne i tak), następnie dopasowanie Hamming-KNN, macierz fundamentalna RANSAC, budowanie ścieżek (track building), wybór pary początkowej, bootstrap dwuwidokowy (F→E plus DLT), zachłanny mapper przyrostowy z rejestracją PnP i triangulacją wielowidokową oraz finalny bundle adjustment poprzez zredukowany metodą Schura Levenberg-Marquardt z funkcją straty Hubera i analitycznymi jakobianami przez rozkład Cholesky'ego. Całkowicie zgodny z wymogami App Store: brak zewnętrznego pliku binarnego, Sandbox=true. Z wbudowanym detektorem kolapsu: klasyfikuje wynik jako zdegenerowany, jeśli zarejestrowano mniej niż 60% klatek wejściowych, gdy współczynnik punktów na kamerę spada poniżej 13 lub gdy chmura punktów jest niemal płaska. Nie następuje wtedy od razu zmiana metody — aplikacja najpierw powtarza przebieg przyrostowy (przejmuje pierwszy niebudzący zastrzeżeń wynik, w przeciwnym razie najlepszy z prób) i dopiero wtedy przechodzi na mapper globalny (Q5), gdy nawet najlepsza próba pozostaje zdegenerowana. Empirycznie czysty w scenach orbitalnych/typu turntable; przy bardziej ogólnych ruchach (lot dronem, wnętrza o złożonej geometrii) wskaźnik powodzenia jest niższy — detektor jednak wyłapuje te przypadki. Skaluje się niezawodnie do ~200 kamer, powyżej tej liczby ze znacznie dłuższym czasem działania.

GDZIE

Wywoływany automatycznie, gdy mapper przyrostowy (Q4) uruchomi detektor kolapsu (mniej niż 60% zarejestrowanych klatek wejściowych, współczynnik punktów na kamerę poniżej 13 lub niemal płaska chmura punktów) — i to dopiero po powtórzeniu przebiegu przyrostowego, gdy nawet najlepsza próba pozostała zdegenerowana. Nie da się go wywołać ręcznie: w Inspectorze nie ma dla niego pickera ani żadnego innego przełącznika — aplikacja sama decyduje, kiedy się przełączyć.

TECHNICZNIE

Globalny wariant natywnego potoku. Najpierw ekstrakcja cech + dopasowanie jak w Q4, potem szacowanie pozy względnej dla wszystkich zweryfikowanych par, następnie uśrednianie rotacji (rotation averaging, synchronizuje wszystkie rotacje kamer w układzie współrzędnych świata) i uśrednianie translacji (translation averaging, oparte na LSQR, na bazie bezmacierzowej formuły rzadkiej, aby uniknąć przepełnienia liczb całkowitych przy dużych zbiorach kamer). Skaluje się w zasadzie do ~5000 kamer, w praktyce jakość zauważalnie spada powyżej kilkuset kamer. Traktowany jako „warstwa awaryjna": wchodzi w grę, gdy mapper przyrostowy degeneruje się nawet po powtórzeniu, i sam nie jest ponownie poddawany detektorowi kolapsu — jeśli jego wynik pozostanie rzadki, zamiast tego zgłasza się ogólne ostrzeżenie o jakości potoku.

GDZIE

Menu File → „Import COLMAP / Metashape Workspace…" (Cmd+⇧+I). Przeciągnięcie folderu z sparse/0/cameras.{bin,txt} i images/.

TECHNICZNIE

Rozpoznaje automatycznie, czy folder wybrany przez przeciągnięcie lub panel otwierania odpowiada jednemu z trzech układów Workspace COLMAP (sparse/0/, sparse/ lub katalog główny) i czy rekonstrukcja jest binarna (cameras.bin), czy tekstowa (cameras.txt). Ścieżka binarna korzysta z parsera binarnego COLMAP, ścieżka tekstowa z loadera ETH3D — obie tworzą ten sam model wyniku SfM, a reszta potoku (import obrazów, uruchomienie treningu MCMC) jest agnostyczna wobec źródła. Obrazy otwierane są jako security-scoped przez system bookmarków sandboxa aplikacji, dzięki czemu import działa także w wersji App Store. Pomyślany specjalnie na przypadek „eksport z Metashape bez ponownego liczenia rekonstrukcji". Wspomniane w opisie wpisu menu File rozpoznawanie zgłasza ostrzeżenie w logu aplikacji, jeśli wybrany folder nie jest rozpoznawalnym Workspace.

GDZIE

Expert View → Inspector → sekcja „Cameras & Capture" → linia „Native SfM Recipe". Linia jest obsługiwalna tylko wtedy, gdy jako Camera Alignment wybrano „Native", a jako typ nagrania ustawiono nieuporządkowany zestaw zdjęć — w przeciwnym razie jest wyszarzona i podaje poniżej, co trzeba zmienić (zasady dostępności znajdują się w rozdziale 2).

TECHNICZNIE

Trzy poziomy tego samego natywnego backendu. Nie zmieniają algorytmu, lecz to, jak dokładnie pracuje:

Standard — podstawowa receptura bez dodatkowych etapów.

Professional — dodatkowo ustawia dwie rzeczy: wykryte markery AprilTag wchodzą jako ciała sztywne do mappingu i bundle adjustment, a na gotowych pozach wykonywana jest gęsta retriangulacja (gęstsza chmura punktów startowych). Jeśli nagranie nie zawiera markerów, detektor niczego nie znajduje i skuteczna pozostaje jedynie gęsta retriangulacja.

E3 High-Accuracy — opiera się na Professional i dodatkowo włącza frontend HQ (kafelkowanie SuperPoint 3×3, LightGlue z 4096 punktami kluczowymi, pary covisibility) oraz wspólne dopracowanie ogniskowej (focal refinement) dla wszystkich kamer. Daje to najostrzejsze pozy kamer i najdłuższy czas dopasowywania.