Hintergrund
Baumaschinen sind komplexe Systeme die einer stetigen Entwicklung unterworfen sind. Um die Leistungsfähigkeit dieser Maschinen zu steigern, werden zunehmend Fahrerassistenzsysteme entwickelt. Sie unterstützen den Fahrer bei schwierigen Manövern, steigern die Wirtschaftlichkeit und vermeiden Unfälle. Diese Systeme führen dabei Teilaufgaben selbständig aus, um den Fahrer zu entlasten.
Problemstellung
Die Definition der Aufgabe kann für mehrgliedrige Manipulatoren auf ein Bahnplanungsproblem zurückgeführt werden. Der Manipulator folgt dabei einer vordefinierten Bahn vom Anfangs- zum Endpunkt, wobei konstruktive und räumliche Einschränkungen sowie Hindernisse berücksichtigt werden. Das Reinforcement Learining ist eine Methode des Maschinellen Lernens, bei dem ein Verhalten selbständig durch positive und negative Belohnungen erlernt wird. Für den Manipulator bedeutet dies, das Erlernen einer kollisionsfreien Bahn vom Anfangs- zu Zielpunkt unter Ausnutzung der Redundanz des Systems. Der Algorithmus wird in Python umgesetzt, das eine Reihe von Paketen für das Reinforcement Learning unterstützt.
Basierend auf einem kinematischen Modell des Manipulators und der Umgebung wird anhand verschiedener Testszenarios das Lernproblem formuliert. Dabei sollen verschiedene Parametrierungen und Gütefunktionale getestet und verglichen werden. Das betrifft unter anderem die Anzahl der Hindernisse in der Umgebung und Segmente des Manipulators.
Aufgabe
- Einarbeitung in Reinforcement Learning
- Portierung der vorhandenen Modelle nach Python
- Definition der Testszenarios und der Lernprobleme
- Implementierung und Simulation
- Untersuchung und Vergleich verschiedener Parametrierungen und Algorithmen
Anforderung
- selbstständige, kreative und hoch motivierte Arbeitsweise
- Erfahrung mit Matlab oder Python
- Vorkenntnisse im Bereich Optimierung oder Maschinelle Lernverfahren
Betreuer
Julian Wanner
M.Sc.Wissenschaftlicher Mitarbeiter