doc3D-Rekonstruktion aus Bildern
download 
Report Transcription
3D-Rekonstruktion aus Bildern
Allgemeine Nachrichtentechnik Prof. Dr.-Ing. Udo Zölzer 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe 41. Treffen der ITG-Fachgruppe “Algorithmen für die Signalverarbeitung” HSU Hamburg 24. Februar 2006 Inhalt Motivation – 3D-Modelle – Herausforderung Schiffsbilder Automatische Konturlinien – Hough-Transformation – MorphCut Modellerstellung Zusammenfassung 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 2 HSU, Hamburg, 24.02.2006 Motivation - wofür 3D-Modelle? Unser Schiffserkennungssystem – IRAD, ReuSe, KEOD, UNbiS, UKIDuO, … – Merkmals- und Konturklassifikation • basiert auf 3D-Datenbank • Modellerstellung bislang „per Hand“ (Dauer: ca. 1-2 Wochen pro Modell) – Erweiterung auf Handelsschiffe • Vielzahl neuer Modelle müssen generiert werden ¨(halb-) automatische Modellierung 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 3 HSU, Hamburg, 24.02.2006 Motivation - Herausforderung Schiffsbilder Farbbilder, aber – „wenig“ Farben – alles grau-blau bis grün-blau Weiteres Problem: hohe Kontrastwerte durch – Wellen im Wasser – Reflektionen und Schattenwurf von Sonnenlicht – Schaumkronen ¨ Standardalgorithmen versagen! 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 4 HSU, Hamburg, 24.02.2006 Automatische Konturlinien - Hough-Transformation Transformation von Bild- in Parameterebene – z.B. Darstellung als Überlagerung gerader Linien (-stücke) – Ziel: einfache Extraktion von geraden Linien Aber: „passende“ Vorverarbeitung ist nötig – z.B. Kantendetektion ¨ Probleme bei Schiffsbildern Mögliche Verbesserungen – „gewichtete“ statt binärer Kanten (siehe nächste Folie) – Nutzung von Farbinformationen 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 5 HSU, Hamburg, 24.02.2006 Automatische Konturlinien - gewichtete Hough-Transformation - ¨ ¨ 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 6 HSU, Hamburg, 24.02.2006 Automatische Konturlinien - aktuelle Verfahren „Snakes“ bzw. „Active Contours“ – Energieminimierung auf Gradientenbasis (entlang von Kanten) ¨ Nachteil: Gradienten (alleine) sind unbrauchbar „KnockOut 2“ – Corel (2002) – nur der Übergang („alpha-Kanal“) wird geschätzt – sicherer Vorder- & Hintergrund muss vorgegeben werden ¨ Nachteil: keine „automatische Kontur“ „SIOX“ – GIMP (2005) – reine Farbselektion (im LAB-Farbraum) – Zugehörigkeit zu Objekt/Hintergrund wird „bewertet“ ¨ Nachteil: „zerklüftetes“ Ergebnis 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 7 HSU, Hamburg, 24.02.2006 Automatische Konturlinien - „GrabCut“ Kombination von Farb- und Gradienteninformation – Farbverteilung wird mit „Gauß-Mixturen“ modelliert – Modellanpassung durch „Erwartungswert-Maximierung“ (EM) ¨ Iterative Optimierung Segmentierung als Energieminimierungsproblem – Aufbau eines „S/T-Graphen“ ¨ Lösung durch „minCut/maxFlow“-Algorithmus Nutzervorgaben – sicherer Hintergrund (explizit) – Vordergrundbereiche sind optional 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 8 HSU, Hamburg, 24.02.2006 Automatische Konturlinien - Aufbau eines S/T-Graphen Pixel sind Knoten – Kantengewichte aus Gradient Zwei spezielle Knoten – Objekt – Hintergrund – Kantengewichte aus Histogramm-Wahrscheinlichkeiten ¨ „minCut/maxFlow“ liefert den optimalen Schnitt (bzw. maximalen Fluss) – Schnittlinie entspricht der Konturlinie 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 9 HSU, Hamburg, 24.02.2006 Automatische Konturlinien - „MorphCut“ Nachteil des „GrabCut“ – Schiffsbilder enthalten „zu wenig“ Farben – Iterationsschritte sind „Einbahnstraßen“ ¨ Kontur schließt sich „zu schnell“ Anpassung an Schiffsbilder – künstliche Erweiterung der Kontur (Dilation) nach jedem Iterationsschritt Vorteile ¨ mehr Zeit (Iterationen) für EM-Anpassung ¨ kleinere Löcher werden wieder geschlossen ¨ getrennte Bereiche können vereint werden 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 10 HSU, Hamburg, 24.02.2006 Modellerstellung - Volumetrisch Volumetrische Berechnung der konvexen Hülle – Konturlinie ist äußere 2D-Einhüllende eines Objektes – Kontur wird in die dritte Dimension erweitert („Röhre“) – Überlagerung mehrerer „Röhren“ (aus verschiedenen Blickwinkeln) 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 11 HSU, Hamburg, 24.02.2006 Modellerstellung - Volumetrisch Vorteile – Ergebnis ist direkt als Volumenmodell verfügbar – Umwandlung Volumen- ¨ Flächenmodell ist einfach – Fehlereinfluss der Kameraorientierung ist gering Nachteile – Konturlinien finden ist auch nicht einfach ¨ siehe vorherige Folien! – Einkerbungen/Löcher können nicht modelliert werden (Konturlinie ist nur der „Schattenriss“) ¨ für die spätere Konturextraktion nicht wichtig! – sehr speicher- und rechenintensiv ¨ aber kürzer als 1-2 Wochen! 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 12 HSU, Hamburg, 24.02.2006 Modellerstellung - Ergebnis - 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 13 HSU, Hamburg, 24.02.2006 Zusammenfassung Schiffsbilder ¨ (die meisten) Standard-Bildanalyseverfahren versagen ¨ Anpassungen sind nötig Automatische Konturlinien ¨ gewichtete Hough-Transformation ¨ „MorphCut“-Algorithmus Modellerstellung ¨ der volumetrische Ansatz ist robust ¨ und passend für unseren Anwendungsfall 3D-Rekonstruktion aus Bildern Dipl.-Ing. Christian Ruwwe Seite 14 HSU, Hamburg, 24.02.2006
