Hoofdstuk 9 — SfM-backends

WAAR

Expert View → Inspector → sectie „Cameras & Capture" → Camera-Alignment-picker, item „Apple Photogrammetry". Standaardinstelling in elke build.

TECHNISCH

Omwikkelt Apples ingebouwde Photogrammetry-framework, dat oorspronkelijk voor Object Capture ontwikkeld is. Apple extraheert intern features met een propriëtaire pipeline (stappen zijn niet openbaar gedocumenteerd), verifieert ze via multi-view-matching en lost bundle-adjustment op de Apple Silicon Neural Engine + GPU op. Het backend is volledig App-Store-conform (geen externe binary, Sandbox=true, on-device), levert echter alleen camera-poses plus een grove puntenwolk — geen diagnostische metrieken zoals tracklengte of reprojectiefout. Schaalt volgens Apples aanbeveling tot een paar honderd afbeeldingen. Bij meer dan ~500 frames in lineaire dronevluchten of grote buitenscènes zijn reproduceerbare crashes of het stilzwijgend verwerpen van afzonderlijke camera's waargenomen.

WAAR

Menu „File → Import COLMAP / Metashape Workspace…" (Cmd+⇧+I) OF drag-and-drop van een map met sparse/0/cameras.txt.

TECHNISCH

Leest de gestandaardiseerde COLMAP-tekstexport — drie tekstbestanden cameras.txt, images.txt, points3D.txt in de submap sparse/0/ — en converteert naar het interne SfM-resultaatmodel. Zelfde formaatdefinitie als de COLMAP-binaire export, alleen als ASCII in plaats van binair. Wordt door Agisoft Metashape, RealityCapture, PolyCam en de ETH3D-benchmark in precies deze lay-out uitgegeven. De parser deelt de camera-model-herkenning met de binary-parser en kent alle elf standaard-cameramodellen van COLMAP — van SIMPLE_PINHOLE en PINHOLE via SIMPLE_RADIAL (COLMAPs eigen standaardinstelling) en OPENCV tot de fisheye-varianten. Robuust tegen commentaarregels en lege regels. Schaalt in tests tot ~1 400 camera's (ETH3D Tunnel) zonder problemen.

WAAR

Expert View → Inspector → sectie „Cameras & Capture" → Camera-Alignment-picker, item „Native" (zonder de vroegere toevoeging „(experimental)"). Incrementeel is de standaardmodus van dit backend; voor Native is er geen mapper-keuze. De regel „Mapper" eronder hoort uitsluitend bij COLMAP: in Developer-builds staat hij zichtbaar, maar uitgegrijsd, zolang Native gekozen is, in de App-Store-versie ontbreekt hij helemaal. De echt native regels — „FOV Override", „High-Quality" en „Native SfM Recipe" — verdwijnen bij andere backends niet meer, maar blijven uitgegrijsd staan en vermelden in een regel eronder wat je moet veranderen om ze weer vrij te schakelen. Tussen de incrementele en de globale methode kun je niet zelf omschakelen: incrementeel staat vast ingesteld, en naar de globale methode schakelt de app alleen zelf over (zie Q5).

TECHNISCH

Eigen GPU-versnelde implementatie van de complete SfM-pipeline: FAST+BRIEF-features OF SuperPoint+LightGlue via CoreML (ingeschakeld via de schakelaar „High-Quality"; bij ongeordende fotosets sowieso actief), gevolgd door Hamming-KNN-matching, RANSAC-fundamentaalmatrix, track-building, initial-pair-selectie, two-view-bootstrap (F→E plus DLT), greedy incrementele mapper met PnP-registratie en multi-view-triangulatie en uiteindelijke bundle-adjustment via Schur-gereduceerde Levenberg-Marquardt met Huber-loss en analytische Jacobians via Cholesky-oplossing. Volledig App-Store-conform: geen externe binary, Sandbox=true. Met de ingebouwde collapse-detector: hij classificeert een resultaat als gedegenereerd wanneer minder dan 60 % van de invoerframes geregistreerd werd, wanneer de points-per-camera-rate onder 13 valt of wanneer de puntenwolk nagenoeg plat is. Daarop volgt niet meteen de wisseling van methode — de app herhaalt eerst de incrementele run (ze neemt het eerste onopvallende resultaat over, anders het beste van de pogingen) en wijkt pas dan uit naar de globale mapper (Q5), wanneer ook de beste poging gedegenereerd blijft. Empirisch schoon op orbit-/turntable-scènes; bij algemenere bewegingen (dronevlucht, binnenruimtes met complexe geometrie) is het slagingspercentage lager — de detector vangt deze gevallen echter op. Schaalt tot ~200 camera's betrouwbaar, hoger met duidelijk langere looptijd.

WAAR

Wordt automatisch aangeroepen, wanneer de incrementele mapper (Q4) de collapse-detector activeert (minder dan 60 % van de invoerframes geregistreerd, points-per-camera-rate onder 13 of nagenoeg platte puntenwolk) — en wel pas nadat de incrementele run herhaald is en ook de beste poging gedegenereerd bleef. Handmatig laat het zich niet aanvragen: in de Inspector is daar geen picker voor en ook verder geen schakelaar — de app beslist zelf wanneer ze overschakelt.

TECHNISCH

Globale variant van de native pipeline. Eerst feature-extractie + matching zoals Q4, dan relatieve-pose-schatting voor alle geverifieerde paren, aansluitend rotation-averaging (synchroniseert alle camera-rotaties in het wereldcoördinatensysteem) en translation-averaging (LSQR-gebaseerd op een matrix-vrije sparse-formulering, om integer-overflow bij grote camera-aantallen te vermijden). Schaalt in principe tot ~5 000 camera's, in de praktijk valt de kwaliteit boven een paar honderd camera's merkbaar terug. Wordt behandeld als „fallback-tier": komt in actie wanneer de incrementele mapper ook na herhaling degenereert, en wordt zelf niet nogmaals aan de collapse-detector voorgelegd — blijft het resultaat dun, meldt zich in plaats daarvan de algemene kwaliteitswaarschuwing van de pipeline.

WAAR

File-menu → „Import COLMAP / Metashape Workspace…" (Cmd+⇧+I). Drag-and-drop van een map met sparse/0/cameras.{bin,txt} en images/.

TECHNISCH

Herkent automatisch of een via drag-and-drop of open-panel gekozen map overeenkomt met een van de drie COLMAP-workspace-lay-outs (sparse/0/, sparse/, of root) en of de reconstruction binair (cameras.bin) of tekst (cameras.txt) voorligt. Het binaire pad gebruikt de COLMAP-binaire parser, het tekstpad de ETH3D-loader — beide produceren hetzelfde SfM-resultaatmodel en de rest van de pipeline (afbeeldingen importeren, MCMC-training starten) is agnostisch ten opzichte van de bron. De afbeeldingen worden via het app-sandbox-bookmark-systeem security-scoped geopend, zodat de import ook in de App-Store-versie werkt. Speciaal bedacht voor het geval „Metashape-export zonder reconstructie opnieuw te berekenen". De in het File-menu-item genoemde herkenning waarschuwt in het app-log, als de gekozen map geen herkenbare workspace is.

WAAR

Expert View → Inspector → sectie „Cameras & Capture" → regel „Native SfM Recipe". De regel is alleen bedienbaar, wanneer als Camera Alignment „Native" gekozen is en als opnametype een ongeordende fotoset ingesteld is — anders staat hij uitgegrijsd en vermeldt hij daaronder wat er veranderd moet worden (de beschikbaarheidsregels staan in hoofdstuk 2).

TECHNISCH

Drie niveaus van hetzelfde native backend. Ze veranderen niet het algoritme, maar hoe grondig het werkt:

Standard — het basisrecept zonder extra stappen.

Professional — stelt bovendien twee dingen in: herkende AprilTag-markers gaan als starre lichamen in mapping en bundle-adjustment mee, en op de definitieve poses wordt dicht nagetrianguleerd (dichtere startpuntenwolk). Bevat de opname geen markers, dan vindt de detector niets en blijft alleen de dichte re-triangulatie effectief.

E3 High-Accuracy — bouwt voort op Professional en schakelt bovendien het HQ-frontend bij (3×3-SuperPoint-tegeling, LightGlue met 4096 keypoints, covisibility-paren) evenals de gezamenlijke focal-refinement over alle camera's. Dat levert de scherpste camera-poses en de langste matching-looptijd op.