Wie modernste Technologie Bilder in 3D-Realität verwandelt

Blockchain concept, visualisation of data flow

Die Aufgabenstellung

Die zentrale Aufgabe besteht darin, 3D-Objekte und Gebäude aus unstrukturierten, frei im Internet verfügbaren Bildsammlungen zu rekonstruieren. Die Herausforderung liegt darin, zu erkennen, welche Teile zweier Bilder dieselben physischen Punkte einer Szene erfassen, Entsprechungen zwischen den Pixelkoordinaten dieser Bildstellen herzustellen und die 3D-Position der Punkte durch Triangulation zu bestimmen.

Der Lösungsansatz

Der Lösungsansatz besteht darin, einen Machine-Learning-Algorithmus auf Basis von Computer-Vision-Verfahren zu entwickeln, der zwei Bilder aus unterschiedlichen Blickwinkeln zueinander registriert. Mit einem Verfahren, das Schlüsselpunkte in den Bildern erkennt und Entsprechungen zwischen ihnen herstellt, lässt sich die Fundamentalmatrix berechnen. Sie liefert die entscheidenden Informationen darüber, wo und aus welchen Blickwinkeln die Fotos aufgenommen wurden. Daraus entstehen 3D-Modelle der Bauwerke.

Welche Technologien wir eingesetzt haben:

Python,
Pytorch,
Kornia,
OpenCV

Perspektiven verbinden: algorithmische Lösungen für die Erkennung von Bauwerken aus unterschiedlichen Blickwinkeln in Touristenfotos

Vorhanden waren Sammlungen von Touristenfotos von 16 Bauwerken, aufgenommen aus unterschiedlichen Winkeln und Entfernungen – aus der Nähe, von unten und teils mit Verdeckungen durch Personen. Die Aufgabe bestand darin, Algorithmen zu entwickeln, die Schlüsselpunkte in diesen Bildern – an den Gebäuden – erkennen und anschließend Entsprechungen zwischen ihnen über verschiedene Blickwinkel hinweg herstellen, und zwar ohne die genauen Kameraparameter der Aufnahmen zu kennen. Die Schwierigkeit liegt in den unterschiedlichen Blickwinkeln, Lichtverhältnissen, Verdeckungen und nutzerseitig angewendeten Filtern – ohne Zugriff auf Aufnahmeort und Geräteparameter wie Kameramodelle und Objektive.

Die Menschen und die Technik hinter dem Projekt

Das Team bestand aus fünf Entwicklern und Forschenden mit unterschiedlich viel Erfahrung in Computer Vision, maschinellem Lernen und Bildverarbeitung.

Jedes Mitglied arbeitete eigenständig im eigenen Spezialgebiet und führte dort Experimente durch, stimmte sich aber laufend mit den anderen ab, um die besten Ansätze am Ende in einem System zusammenzuführen.

Im Projekt diente Python als Skriptsprache und zum Aufbau der Experimentarchitektur. Mit PyTorch wurden neuronale Netze für die Erkennung und Zuordnung von Schlüsselpunkten aufgebaut und trainiert, während Kornia aktuelle Modelle für Computer Vision bereitstellte. OpenCV übernahm die Bildvorverarbeitung und die Bildbearbeitung. Dieser abgestimmte Technologie-Stack ermöglichte effizientes Experimentieren und deutliche Fortschritte bei der 3D-Objektrekonstruktion aus heterogenen Bildsammlungen.

Erkennung von Bauwerken von A bis Z: von der Recherche bis zur Validierung.

Erkenntnisse aus der Literaturrecherche

Zunächst haben wir eine umfassende Literaturrecherche durchgeführt, um bestehende Lösungen und Verfahren der Stereophotogrammetrie und der 3D-Rekonstruktion aus Bildern vollständig zu erfassen. Diese erste Phase vermittelte uns den Stand der Technik und zeigte, wo Verbesserungen möglich sind.

Algorithmen und Modelle für die Erkennung von Schlüsselpunkten

Anschließend folgte die Experimentierphase, in der wir verschiedene Computer-Vision-Algorithmen und Machine-Learning-Modelle erprobt haben. Ziel war es, Schlüsselpunkte in den Bildern zu erkennen und belastbare Entsprechungen über verschiedene Blickwinkel hinweg herzustellen. So konnten wir Leistung und Grenzen der Ansätze bewerten und die aussichtsreichsten Wege identifizieren.

Von der Theorie zur Praxis: Prototypen und Feinabstimmung

Mit den Erkenntnissen aus der Experimentierphase haben wir Prototypen entwickelt. Sie dienten als Prüfstand, um unterschiedliche Algorithmen umzusetzen und Parameterkombinationen auf unserem Datensatz feinabzustimmen. In diesem iterativen Vorgehen erhielten wir wertvolle Rückmeldungen und haben unsere Methoden verfeinert.

Alles zusammenführen: Algorithmen und Verfahren nahtlos verbinden

Da die Komplexität des Projekts die Integration verschiedener Algorithmen und Verfahren erforderte, haben wir viel Aufwand in das nahtlose Zusammenspiel der Komponenten gesteckt. Diese Integrationsphase verlangte eine sorgfältige Abstimmung und Harmonisierung der einzelnen Module, damit sie zusammen funktionieren.

Die Probe aufs Exempel: Leistung und Potenzial bewerten

Zum Schluss haben wir unsere Lösung auf den Prüfstand gestellt. In umfangreichen Tests mit unbekannten Daten haben wir ihre Leistung streng bewertet und Genauigkeit sowie Übertragbarkeit beurteilt. Diese gründliche Prüfung bestätigte die Wirksamkeit unseres Ansatzes und sein Potenzial für den praktischen Einsatz.

Ergebnisse

Der vom Team entwickelte Machine-Learning-Algorithmus hat Bilder aus unterschiedlichen Blickwinkeln erfolgreich zueinander registriert und die Fundamentalmatrix berechnet. Damit ließen sich aus den Sammlungen von Touristenfotos präzise 3D-Modelle der Bauwerke erstellen.

Zahlen zum Projekt

Das Projekt zur 3D-Objektrekonstruktion löste die komplexe Computer-Vision-Aufgabe in der vergleichsweise kurzen Zeit von gut einem Monat.

Der vorgeschlagene Ansatz zeigte vielversprechende Ergebnisse und bietet mögliche Anwendungen in virtueller und erweiterter Realität, in der Erhaltung von Kulturgut und in weiteren Projekten zur 3D-Objektrekonstruktion, bei denen die Datenlage unvollständig ist.

Michał Affek Forscher für Embedded Machine Learning

Grenzen in der Computer Vision verschieben: Begleiten Sie uns

Computer-Vision-Themen können gleichermaßen anspruchsvoll und innovativ sein – das zeigt das Forschungsprojekt von DAC.digital zur 3D-Objektrekonstruktion aus Bildern. Wenn Sie ein Projekt im Bereich Computer Vision angehen und die Grenzen dieser Technologie verschieben möchten, sprechen Sie uns an – wir arbeiten gern mit Ihnen zusammen!

Lassen Sie uns gemeinsam neue Möglichkeiten in der Computer Vision erschließen.