Structura din mișcare

Model digital de suprafață al unui șantier de construcție a unei intersecții eșalonate a unei autostrăzi

Structura din mișcare sau SfM (în italiană: Structura din mișcare ) este o tehnică de imagistică de gamă a viziunii computerizate și a percepției vizuale , cu care procesul de estimare a structurilor tridimensionale din secvențe de imagine bidimensionale care pot fi cuplate cu semnale locale de mișcare. Din punct de vedere biologic, SfM se referă la fenomenul prin care oamenii (și alte creaturi vii) pot reconstrui structuri 3D dintr-un câmp în mișcare în proiecția 2D (retiniană) a unui obiect sau a unei scene în mișcare.

Obțineți informații 3D din imagini 2D

Ființele umane primesc o mulțime de informații despre structura tridimensională din mediul lor prin mișcare. Când observatorul se mișcă și obiectele din jurul său se mișcă, informațiile sunt obținute din imagini în timp ^[1] . Găsirea structurilor din mișcare prezintă probleme similare cu găsirea structurilor din viziunea stereoscopică. În ambele cazuri, trebuie găsită corespondența dintre imagini și reconstrucția obiectelor 3D.

Pentru a se potrivi imaginilor, caracteristici precum punctele de colț (laturile cu gradiente în mai multe direcții) sunt reprezentate de la o imagine la alta. Unul dintre cele mai utilizate detectoare de caracteristici este transformarea caracteristicii invariante la scară ( SIFT ). Folosiți maximul unei piramide a diferențelor Gauss (DOG) ca caracteristici Primul pas în SIFT este de a găsi o direcție de gradient dominantă. Pentru a-l face invariant la rotație, descriptorul este rotit pentru a se potrivi orientării sale ^[2] . Un alt detector de caracteristici foarte frecvent este SURF ( Speeded Up Robust Features ). În SURF, DOG-ul este înlocuit cu un detector de blob bazat pe matrice Hessian ^[3] . Mai mult, în loc să evalueze gradientul histogramelor, SURF calculează sumele componentelor gradientului și sumele valorilor lor absolute ^[4] . Caracteristicile detectate de toate imaginile vor fi apoi încrucișate. Unul dintre algoritmii de potrivire (pentru încrucișarea datelor) care trasează caracteristici de la o imagine la alta este plotterul Lukas-Kanade ^[5] .

SfM pentru analiza structurii patrimoniului cultural

Notă

^ Linda G. Shapiro, George C. Stockman, Computer Vision , Prentice Hall, 2001, ISBN 0-13-030796-3 .
^ DG Lowe, Caracteristici ale imaginii distincte din punctele cheie invariante la scară , în Jurnalul internațional de viziune computerizată , 2004.
^ H. Bay, T. Tuytelaars și L. Van Gool, Surf: Accelerat caracteristici robuste , în cea de-a 9-a Conferință europeană privind viziunea computerizată , 2006.
^ K. Häming și G. Peters, conducta de reconstrucție structură-din-mișcare - un sondaj cu accent pe secvențe de imagini scurte , în Kybernetika , 2010.
^ BD Lucas și T. Kanade, O tehnică iterativă de înregistrare a imaginii cu o aplicație pentru viziunea stereo , în IJCAI81 .

Bibliografie

Richard Hartley și Andrew Zisserman, Geometrie cu vedere multiplă în viziunea computerizată , Cambridge University Press, 2003, ISBN 0-521-54051-8 .
Olivier Faugeras și Quang-Tuan Luong și Theodore Papadopoulo, Geometria imaginilor multiple , MIT Press, 2001, ISBN 0-262-06220-8 .
Yi Ma, S. Shankar Sastry, Jana Kosecka, Stefano Soatto, Jana Kosecka, O invitație la viziunea 3D: de la imagini la modele geometrice , Seria de matematică aplicată interdisciplinară, # 26, Springer-Verlag New York, LLC, noiembrie 2003, ISBN 0-387-00893-4 .

Elemente conexe

linkuri externe

Structură din mișcare în exporttocanoma.blogspot.it , pe exporttocanoma.blogspot.it .

Structura din software-ul Motion

Soluții open source

C ++

Bundler - Structură din mișcare pentru colecții de fotografii neordonate de Noah Snavely
openMVG O bibliotecă de geometrie cu vizualizare multiplă deschisă + demonstranți de structură din mișcare
Libmv - O structură din biblioteca Motion , la developer.blender.org .
Theia : O bibliotecă de structură-mișcare rapidă și scalabilă lansată sub licență BSD
MicMac, un cod open source SFM lansat de Institutul Național de Informații Geografice și Forestiere
LSD-SLAM : SLAM monocular direct pe scară largă în timp real, de Jakob Engel
MVE - Multi-View Environment de Simon Fuhrmann, TU Darmstadt.
ceres-solver pentru cele mai mici pătrate generale neliniare . Are caracteristici pentru ajustarea pachetului. Folosit anterior de Google intern pentru Google Maps. Lansat publicului în 2012.
SBA pentru reglarea generică a pachetului de către Manolis Lourakis.
NuxSFM ^{[ link rupt ]} NuxSFM 2.0 pacman X86_64 construi scripturi.

Matlab

Structure from Motion toolbox pentru Matlab Arhivat 24 mai 2008 la Internet Archive . de Vincent Rabaud
Funcții Matlab pentru geometrie cu vizualizare multiplă de Andrew Zissermann
Structure and Motion Toolkit de Phil Torr
Codul Matlab pentru structura non-rigidă din mișcare de Lorenzo Torresani

Piton

Python Photogrammetry Toolbox GUI - o sursă deschisă SFM GUI (lansator de estimare ușoară SfM și cloud dens) de Pierre Moulon și Arc-Team

Alte programe software

Smart3DCapture , o soluție completă de fotogrametrie de la Acute3D.
3DF Samantha - Structura liniei de comandă din conducta Motion pentru Windows , de 3Dflow srl. Gratuit în scopuri necomerciale.
Sistem automat de urmărire a camerelor (ACTS) , o structură de la mișcare cu sistem de recuperare a adâncimii dense pentru Microsoft Windows, de Vision Group of State Key Lab din CAD & CG, Universitatea Zhejiang.
Sistem de urmărire automată a camerelor la scară largă (LS-ACTS) , un sistem de structură din mișcare la scară largă pentru Microsoft Windows, de Vision Group of State Key Lab din CAD & CG, Universitatea Zhejiang.
VisualSFM: O structură vizuală din sistemul de mișcare , de Changchang Wu
SFMToolkit o soluție completă de fotogrametrie bazată pe software open-source , pe visual-experiments.com .
Software MountainsMap SEM pentru microscopii electronici de scanare . 3D se obține prin înclinarea specimenului + fotogrametrie.
Voodoo Camera Tracker , instrument necomercial pentru integrarea scenelor virtuale și reale.
Site original, arhivat: Laboratorium für Informationstechnologie, Universitatea din Hanovra
MetaIO Toolbox SfM pentru realitate augmentată pe dispozitive mobile.
TacitView by 2d3 Sensing
Chain Arhivat 2 aprilie 2014 în Archive.is . Python Abstract Workflow Framework cu componente SfM.
Software CMPMVS Multi-View Reconstruction

Portal IT : accesați intrările Wikipedia care se ocupă cu IT

[1] Linda G. Shapiro, George C. Stockman, Computer Vision , Prentice Hall, 2001, ISBN 0-13-030796-3 .

[2] DG Lowe, Caracteristici ale imaginii distincte din punctele cheie invariante la scară , în Jurnalul internațional de viziune computerizată , 2004.

[3] H. Bay, T. Tuytelaars și L. Van Gool, Surf: Accelerat caracteristici robuste , în cea de-a 9-a Conferință europeană privind viziunea computerizată , 2006.

[4] K. Häming și G. Peters, conducta de reconstrucție structură-din-mișcare - un sondaj cu accent pe secvențe de imagini scurte , în Kybernetika , 2010.

[5] BD Lucas și T. Kanade, O tehnică iterativă de înregistrare a imaginii cu o aplicație pentru viziunea stereo , în IJCAI81 .

[1]

[2]

[3]

[4]

[5]