Wie LiDAR und RGB-Bilder zur Computer Vision Hinderniserkennung zur Waldernte beitragen
Komatsu verfolgte eine ehrgeizige Vision zur Steigerung der Produktivität in der Forstwirtschaft. Das Unternehmen wollte einen nachhaltigeren Ansatz für die Planung und Durchführung von Erntearbeiten finden. Ziel war eine Waldkartierung, die erntefeste Bäume identifiziert und die Routenführung für schwere Maschinen optimiert. Dazu sollten Informationen über die Lage von Schutzobjekten und die Beschaffenheit des Geländes bereitgestellt werden.
Unser Ziel: Computer-Vision-System zum Objekterkennen (Hinderniserkennung) und -ortung entwickelt
Manuelle Methoden der Waldkartierung sind langsam, arbeitsintensiv und fehleranfällig. Um diese Herausforderungen zu bewältigen, haben wir die Entwicklung eines Machine-Learning-Modells vorgeschlagen. Dieses Modell eignet sich ideal für die schnelle und genaue Verarbeitung großer, komplexer Datensätze. In einer Waldumgebung erkennen die Algorithmen automatisch Muster in den Daten, identifizieren verschiedene Baumarten und lokalisieren Hindernisse.
👋 Hey, woran arbeiten Sie gerade?
Geben Sie uns ein paar Informationen über Ihre KI Herausforderung oder Idee, egal wie komplex sie ist. Unser Expertenteam bietet Ihnen seine Expertise in Bezug auf Machbarkeit, Budget und Umfang an. Lassen Sie uns gemeinsam eine Lösung entwickeln!
Eine 3D-Vermessung des Geländes mittels Drohne liefert hochwertige Daten
Könnte es sein, dass ein Wald nicht genug Bäume hatte? In diesem Fall war es tatsächlich so! Unsere erste Herausforderung war der Mangel an zuverlässigen Datensätzen zum Trainieren des Machine-Learning-Modells. Komatsu stellte uns Fotos des Waldes zur Verfügung. Die Bilder waren unscharf und enthielten zu wenige Objekte, um damit Machine-Learning-Algorithmen zu trainieren.
Unser Team hat eine Drohne gebaut und eingesetzt, um LiDAR-Scans und RGB-Bilder des Waldes zu erfassen. Mithilfe der LiDAR-Daten können Größe, Form und Position von Objekten im 3D-Raum sehr genau bestimmt werden. Dies ist nötig, um den Algorithmus zu trainieren, sodass er auch schwer erkennbare Objekte wie Bäume und verdeckte Objekte erkennt. RGB-Bilder sind für detailliertere Klassifizierung auf Grundlage von Textur und Farbe nützlich. Dies hilft bei der Unterscheidung zwischen Baum und Hindernis.
Das Projekt wurde mit folgenden Partnern durchgeführt:
Für den Testflug verwendete Ausrüstung:
- Eine von unserem Team gebaute Drohne mit LiDAR-Sensor und RGB-Kamera.
Daten, die wir erheben wollten:
- Geolokalisierungsdaten zur genauen Position der Drohne während jedes LiDAR-Scans und jeder RGB-Bildaufnahme.
- LiDAR-Daten zur Erstellung einer detaillierten 3D-Punktwolke der forstwirtschaftlichen Umgebung.
- Hochauflösende Bilder der RGB-Kamera zur Erfassung visueller Details.
Die Daten wurden bereinigt und für das Training des ML-Algorithmus zusammengeführt.
Nach der Erfassung der Rohbilder haben wir Algorithmen des Machine Learnings angewendet, um die Bilder zu kalibrieren und Verzerrungen zu korrigieren. Dadurch wurde die Genauigkeit und Zuverlässigkeit der Daten gewährleistet. Um jedoch einen umfassenden Datensatz zu erstellen, mussten wir die RGB-Bilder noch mit den LiDAR-Daten zusammenführen.
Dieser Integrationsprozess umfasste zwei wesentliche Schritte: Die Daten beider Sensoren wurden zeitlich aufeinander abgestimmt. Anschließend wurden die LiDAR-Punkte mithilfe von Transformation und Rotation mit den Objekten in den RGB-Bildern abgeglichen. Dies war wegen des 360-Grad-Sichtfelds des LiDAR-Sensors nötig, da es das enge Sichtfeld der RGB-Kamera ersetzt.
Im Rahmen eines Experiments filterten wir die Daten, um nur die Punkte beizubehalten, die Bäumen entsprechen. Dabei haben wir irrelevante Informationen verworfen und gleichzeitig Geländepunkte für weitere Analysen isoliert.
Baumbemessung und BHD-Berechnung für optimale Holzernte
Bei der Kartierung von erntefähigen Bäumen ist es unerlässlich, den Brusthöhendurchmesser (BHD) jedes einzelnen Baumes zu ermitteln. Der BHD ist ein entscheidender Messwert, um die Baumgesundheit zu beurteilen und die Holzqualität zu bewerten. Wir haben erste experimentelle Algorithmen entwickelt, die auf LiDAR- und RGB-Daten basieren und den BHD auf Grundlage von Größe und Struktur des Baumes schätzen sollen.
Durch semantische Segmentierung werden Objekte unterscheiden
Um das Gebiet zu kartieren, sollten die gleichzeitig mit den LiDAR-Scans und den RGB-Bildern erfassten Geolokalisierungsdaten verwendet werden. So lassen sich die genauen Positionen verschiedener Objekte berechnen.
Mithilfe der semantischen Segmentierung des Machine Learnings sollten bestimmte Objekte von Interesse, wie beispielsweise Bäume und Hindernisse, identifiziert und deren Positionen bestimmt werden.
Wir planten, das Segment Anything Model (SAM) einzusetzen, um die Segmentierungsergebnisse zu verfeinern und reibungslose, präzise Masken zu erstellen.
Das Ergebnis? Das Modell kann Bäume und andere Objekte zusammen mit ihrer Geolokalisierung und den erforderlichen Parametern erkennen.
Die Endlösung identifiziert Baumarten und kartiert Oberflächen realistisch mit Drohnen
Mithilfe der Kombination von LiDAR-Daten, RGB-Bildern, Machine Learning und semantischer Segmentierung soll ein leistungsfähiges Computer-Vision-System zur Erkennung von Bäumen und Hindernissen entwickelt werden. Es soll Komatsu dabei unterstützen, die Holzernte zu optimieren und die Auswirkungen auf die Umwelt gleichzeitig zu minimieren.
Durch die genaue Erfassung der Standorte von Bäumen und Hindernissen wie Felsen, Baumstümpfen und Schutzgebieten ermöglicht das Modell eine effiziente und sichere Routenplanung für Maschinen. So wird das Risiko von Umweltschäden verringert und eine minimale Beeinträchtigung des Ökosystems gewährleistet wird.
Die endgültige Lösung wird die Betriebsabläufe bei Komatsu optimieren:
- Analyse der Bäume, deren Art und genaue Standorte.
- Routenermittlung und -optimierung für Baumaschinen
- Optimierte Holzernte mit maximierter Holzmenge und -qualität und der Ressourcenaufwandsreduktion.
- Umwelt- und Kulturschutz, da unser Algorithmus geschützte Orte wie Ameisenhaufen oder Gräber erkennt.
- Unsere Lösungen bieten eine genauere und leichter zugängliche Karte als die der Behörden.
Die Technologie kann in Echtzeit eingesetzt werden. Dadurch ist es möglich, auch Live-Veranstaltungen, Produktionshallen, belebte Straßen und große Flächen zu überwachen.
Über die Förderung
Die Case Study wurde auf der Grundlage des Agrarsense-Projekts im Rahmen der Fördervereinbarung Nr. 101095835 entwickelt, das vom gemeinsamen Unternehmen CHIPS und seinen Mitgliedern unterstützt wird, einschließlich der zusätzlichen Mittel von Schweden, Tschechien, Finnland, Irland, Italien, Lettland, den Niederlanden, Norwegen, Polen und Spanien sowie des Nationalen Zentrums für Forschung und Entwicklung in Polen. Das Projekt wird vom Chips Joint Undertaking und dem Nationalen Zentrum für Forschung und Entwicklung kofinanziert.
Haben Sie ein Projekt im Sinn? Lassen Sie uns darüber sprechen.
Kontaktieren Sie uns!
Senden Sie uns eine E-Mail: [email protected]
Suchen Sie nach Bildverarbeitungslösungen für Ihr Unternehmen?
