Lehrstuhl für Informationsmanagement im Maschinenbau IMA
RWTH Aachen University Kommissarischer Direktor: Prof. Dr.-Ing. Christian Hopmann
Akademische Direktorin: Prof. Dr. phil. Ingrid Isenhardt Stellvertretender Direktor: Dr. rer. nat. Frank Hees
[1] Erwin Coumans and Yunfei Bai. Pybullet, a python module for physics simulation in robotics, games and machine learning. http://pybullet.org, 2016–2019.
Entwicklung einer Simulationsumgebung für Tunnelvortriebsmaschinen zum Trainieren von Reinforcement Learning Agenten
Wissenschaftliche Fragestellung
Das Institut für Informationsmanagement im Maschinenbau erforscht gemeinsam mit der Herrenknecht AG, Möglichkeiten moderne Methoden künstlicher Intelligenz (KI) einzusetzen, um den Tunnelbauprozess zu analysieren und optimieren. Besonderes Optimierungspotenzial stellt dabei der Tunnelausbau dar, welcher manuell mithilfe eines Bedienpults durchgeführt wird. Der Tunnelausbau erfolgt mit einem Erektor, wobei sog. Tübbingsegmente ringförmig platziert werden. Ein möglicher KI- Ansatz den Tunnelausbau zu optimieren ist mithilfe von Reinforcement Learning (RL), wobei ein RL-Agent die Steuerung des Erektors übernimmt und iterativ erlernt den Tunnelausbau so effizient wie möglich zu gestalten. Das Trainieren von RL-Agenten benötigt jedoch eine ausgiebig große Datenmenge die über eine Simulationsumgebung (z.B.
PyBullet [1]) erschlossen werden soll. Die Konzeptionierung, Implementierung und Evaluation der Simulation soll im Rahmen einer Abschlussarbeit erarbeitet werden.
Quelle: Herrenknecht AG – herrenknecht.com
Wissenschaftliche Methodik
Einarbeitung in die Themenfelder Tunnelvortrieb, Tunnelvortriebsmaschinen, Reinforcement Learning und Physiksimulationen
Aufstellung notwendiger Randbedingungen für die Entwicklung der Simulationsumgebung
Konzeptionierung und prototypische Implementierung der Simulationsumgebung
Verifikation und Validierung der implementierten Simulationsumgebung durch das Antrainieren eines RL-Agenten
Ziel und erwartete Ergebnisse
Das Ziel der Arbeit ist es eine Trainingsgrundlage für RL-Agenten zu schaffen, welche den Tunnelausbau als RL Problem simuliert. Die dabei entwickelte Simulation soll sowohl physikalische Zusammenhänge berücksichtigen als auch den Tunnelbausbauprozess in seiner Komplexität abbilden. Der Rahmen der Arbeit kann je nach Art der Abschlussarbeit und anhand von Forschungsinteressen angepasst werden.
Voraussetzungen
Eigenständige und Proaktive Arbeitsweise
Interesse an interdisziplinären Fragestellungen und Bereitschaft neue Themen zu erlernen
Programmierkenntnisse in Python von Vorteil, aber nicht notwendig Ansprechpartner
Hans Aoyang Zhou, M.Sc. | Tel.: +49-241 80-91144 | E-Mail: hans.zhou@ima.rwth-aachen.de Aymen Gannouni, M.Sc. | Tel.: +49-241 80-91139 | E-Mail: aymen.gannouni@ima.rwth-aachen.de
Art der Arbeit: Bachelorarbeit / Masterarbeit
Lehrstuhl für Informationsmanagement im Maschinenbau IMA
RWTH Aachen University Kommissarischer Direktor: Prof. Dr.-Ing. Christian Hopmann
Akademische Direktorin: Prof. Dr. phil. Ingrid Isenhardt Stellvertretender Direktor: Dr. rer. nat. Frank Hees
[1] Erwin Coumans and Yunfei Bai. Pybullet, a python module for physics simulation in robotics, games and machine learning. http://pybullet.org, 2016–2019.
Development of a simulation environment for tunnel boring machines to train reinforcement learning agents
Research Question
The Institute of Information Management in Mechanical Engineering investigates together with the Herrenknecht AG possibilities to apply modern artificial intelligence (AI) methods for optimizing tunnel-building processes. Especially the manual process of tunnel lining exhibits substantial optimization potential, where an erector places segments circularly to form a tunnel ring. One AI-based approach for optimizing the tunnel lining process is to use Reinforcement Learning (RL). Here, an RL agent learns iteratively the optimal policy for controlling the erector to build a tunnel ring. However, RL agents need a great amount of training data to learn complex control tasks. Hence, physic-engine-based simulations (e.g. PyBullet [1]) present a popular environment to generate the necessary training data. The scope of this work comprises the conceptual design, implementation, and evaluation of said simulation environment.
Source: Herrenknecht AG – herrenknecht.com
Research Methodology
Conducting a literature review on the topics of tunnel-building, tunnel boring machines, reinforcement learning and physic-engine-based simulation
Deriving necessary requirements for developing the simulation environment
Conceptualization and prototypical implementation of the simulation environment
Verification and validation of the implemented simulation environment through training of an RL agent
Objectives and expected results
The aim of the thesis is to create a foundation for training and evaluation of RL agents that simulates the task of tunnel lining. The developed simulation environment should consider on one hand physical properties of the tunnel building process and on the other hand the goal of efficiently solving the underlying task. Scope adjustments according to the type of thesis and research interests are possible.
Requirements
Independent and proactive working attitude
Interest in working on interdisciplinary research topics and the willingness to learn new topics and skills
Programming experience in Python is advantageous but not necessary
Contact
Hans Aoyang Zhou, M.Sc. | Tel.: +49-241 80-91144 | E-Mail: hans.zhou@ima.rwth-aachen.de Aymen Gannouni, M.Sc. | Tel.: +49-241 80-91139 | E-Mail: aymen.gannouni@ima.rwth-aachen.de
Type of thesis: Bachelor thesis / Master thesis
