StratP A.S CONTINUING - Learning to Grasp from Multiple Semantically Valid Options Using Reinforcement Learning and Language Guidance - Embodied AI

Erweiterung empirischer Erkenntnisse i) zur Rolle von Verständlichkeit und Vorhersehbarkeit als Determinanten einer effektiven Mensch-Roboter-Zusammenarbeit in der Industrie und ii) zu den Auswirkungen von nachhaltigkeitsbezogenen XAI-Schnittstellen auf Nutzerentscheidungen und -verhalten

Kontextualisierte große Sprachmodelle mit menschlicher Anleitung im Teilprojekt „Embodied AI – Greifen lernen aus mehreren semantisch gültigen Optionen unter Verwendung von Bestärkungslernen und sprachlicher Anleitung“.

Die meisten Greifmethoden zielen darauf ab, einen einzigen „besten“ Griff zu finden, obwohl oft mehrere praktikable Optionen bestehen (z. B. das Greifen einer offenen Schachtel an der Ecke, oben oder an der Seite). Dieses Projekt nutzt Reinforcement Learning (RL), um eine Strategie zu trainieren, die in der Lage ist, mehrere Greifkonfigurationen zu generieren und unter Berücksichtigung der Wahrnehmung des Roboters sowie möglicher textueller Optionen eine semantisch plausible auszuwählen. Die Einbeziehung von Kausalität verbessert das Greifen, indem sie es Robotern ermöglicht, Ursache und Wirkung zu verstehen, Ergebnisse vorherzusagen, Fehler zu antizipieren und Strategien für eine höhere Robustheit anzupassen. Anstatt eine einzige feste Lösung vorzuschreiben, werden wir untersuchen, wie große Sprachmodelle (LLMs) mehrere alternative Optionen effektiv kommunizieren können.