Erforscht werden soll im von der österreichischen Forschungsförderungsgesellschaft geförderten Projekt (FFG-Projekt) SEASON-Twin, wie eine robuste Navigation von Robotern auch bei saisonalen Veränderungen und Unsicherheiten möglich wird.
Dafür erfassen die Expert:innen ein Weingut zu unterschiedlichen Jahreszeiten mit LiDAR und 360-Grad-Kameras.
Hohe Ansprüche an autonome Navigation
Als Demonstrationsumgebung dient das Weingut „Auf der Leiten“ in Klagenfurt am Wörthersee. Projektpartner sind ARTI Robots GmbH sowie Alpenspirit GmbH. Roboter können laut ARTI den Weinbau zum Beispiel durch gezieltes Besprühen der Reben, Mäharbeiten, Monitoring von Pflanzen oder beim Ernten unterstützen.
Diese Tätigkeiten in den Weinbergen stellen hohe Ansprüche an autonome Navigation: Roboter müssen entlang vorgegebener Reihen und Pfade fahren, während Vegetation, Untergrund und Sichtverhältnisse im Jahresverlauf deutlich variieren. Karten und aktuelle Sensordaten können dadurch voneinander abweichen. Das erschwert die Lokalisierung des Roboters und kann zu ungünstigen Navigationsentscheidungen führen.
Autonome mobile Roboter müssen sich im Freien auch dann zuverlässig orientieren, wenn sich ihre Umgebung laufend verändert. Pflanzen wachsen, Bodenverhältnisse wechseln, Lichtbedingungen variieren.
LiDAR-Rucksack und 360-Grad-Kamera
Für den Aufbau des digitalen Zwillings war Markus Tauchhammer und das Team vom Digital Twin Lab bereits mehrfach im Feld unterwegs. Zum Einsatz kamen portable LiDAR-Rucksacksysteme sowie eine Rundum-Bildgebung in 360 Grad.
„LiDAR steht für „Light Detection and Ranging“. Dabei werden die Abstände zu Objekten mithilfe von Laserimpulsen gemessen. Aus Millionen einzelner Messpunkte entstehen dreidimensionale sogenannte Punktwolken, die die Geometrie der Umgebung detailliert wiedergeben“, erklärt Markus Tauchhammer.
Die bisherigen Messkampagnen erfassen unterschiedliche Vegetations- und Umweltzustände. Weitere Aufnahmen, darunter eine Erhebung im Winter, sind in Planung. Damit entsteht schrittweise ein multisaisonaler Datensatz, mit dem sich Veränderungen der Umgebung über das Jahr hinweg vergleichen und quantitativ beschreiben lassen.
„Für einen belastbaren digitalen Zwilling reicht es nicht, eine Umgebung einmal geometrisch möglichst genau zu erfassen. Entscheidend ist, auch ihre zeitliche Veränderung strukturiert abzubilden. Wir wollen aus den 3D-Daten ableiten, welche Merkmale stabil bleiben, welche sich saisonal verändern und wie sich diese Unterschiede für Simulation und Navigation nutzbar machen lassen“, meint Markus Tauchhammer.
Navigationssystem für Roboter
Die aufgenommenen 3D-Daten werden anschließend semantisch verarbeitet. Die Punktwolken werden segmentiert, klassifiziert und annotiert. Dadurch lassen sich unterschiedliche Bereiche und Objekte der Umgebung nicht nur geometrisch erfassen, sondern auch funktional für die Roboternavigation beschreiben. Die daraus entstehenden Karten lassen eine Bewertung der unterschiedlichen Bereiche zu. Bewertet wird danach, wie gut beziehungsweise mit welchem Aufwand oder Risiko ein Roboter das Gelände befahren kann.
Der digitale Zwilling soll damit weit mehr sein als ein statisches 3D-Modell. Ziel ist eine simulationsfähige virtuelle Umgebung, in der räumliche Strukturen, saisonale Veränderungen und Unsicherheiten gemeinsam berücksichtigt werden können.
Unsicherheiten werden Teil der Navigation
Ein weiterer Schwerpunkt von SEASON-Twin ist das Uncertainty Modelling, also die Modellierung und Quantifizierung von Unsicherheiten. Dabei wird untersucht, wie stark Umweltzustände, Karteninformationen oder Sensordaten variieren können und wie diese Unsicherheiten bei der Navigation berücksichtigt werden sollten.
„Autonome Navigation im Freien ist besonders anspruchsvoll, weil ein Roboter nie mit einer vollständig bekannten und unveränderlichen Umgebung arbeitet. Unser Ziel ist deshalb, Unsicherheiten nicht erst dann zu behandeln, wenn sie zu einem Problem werden, sondern ihre Auswirkungen bereits bei der Navigation systematisch einzubeziehen. Damit sollen Lokalisierung und Pfadplanung robuster gegenüber saisonalen und umweltbedingten Abweichungen werden“, erörtert Benjamin Breiling, Projektleiter seitens JOANNEUM RESEARCH ROBOTICS.
Der Weinbau dient dabei als anspruchsvoller Anwendungsfall. Die entwickelten Methoden sind jedoch nicht darauf beschränkt. Die Erkenntnisse können auch für autonome Systeme in der Landwirtschaft, Forstwirtschaft und im Umweltmonitoring relevant sein. Langfristig können robustere Navigationsverfahren dazu beitragen, Stillstandzeiten und Wartungsaufwand mobiler Robotersysteme zu reduzieren.
Auf Basis des digitalen Zwillings werden zudem Testszenarien entwickelt, mit denen saisonale Einflüsse gezielt untersucht werden können. Zum Einsatz kommen unter anderem generative KI, prozedurale 3D-Szenengenerierung und modellbasierte Veränderungen virtueller Umgebungen.
Dadurch lassen sich unterschiedliche Umweltzustände systematisch erzeugen und testen, ohne jede Situation zunächst in der Realität herstellen zu müssen.
