Reinforcement Learning (dt.: bestärkendes bzw. verstärkendes Lernen) ist eine Methode des maschinellen Lernes und gewinnt im Zeitalter von Digitalisierung und Künstlicher Intelligenz (KI) zunehmend an Bedeutung. Seine Anwendungsbereiche sind sehr praxisnah wie z. B. die Optimierung von Ampelschaltungen, weshalb sich immer mehr Forschende und Unternehmen dem Thema widmen. An der Professur für Ökonometrie und Statistik, insbes. im Verkehrswesen an der Fakultät Verkehrswissenschaften "Friedrich List" der TU Dresden wird aktuell eine Reinforcement Learning (RL) Group aufgebaut. "Das ist bisher einzigartig in Dresden", wie Prof. Ostap Okhrin, Leiter der Professur, erklärt.

Ostap Okhrin und sein Team wollen das Thema jedoch nicht allein "im stillen Kämmerlein" bearbeiten und suchen gezielt den Schulterschluss mit anderen an dem Thema Interessierten wie z. B. der Machine Learning Community Dresden (MLC-Dresden). Hier hielt Fabian Hart, wissenschaftlicher Mitarbeiter an der Professur, kürzlich einen Vortrag zur bisherigen RL-Forschung und dazugehörigen Projekten an der Professur.

Zu Beginn stellte er das Reinforcement Learning als "die Optimierung der Aktionen eines Agenten über die Zeit angesichts einer bestimmten Belohnung" dar. Als praktische Anwendung diente ihm dabei die Entwicklung eines automatisierten Systems zur Navigation von Frachtschiffen auf dem Niederrhein in Deutschland - ein von der Bundesanstalt für Wasserbau (BAW) co-finanziertes Projekt an der Professur. Zu den Aufgaben, die mit dieser Technik angegangen werden sollen, gehören u. a.:

• Trajektorienplanung
• Entscheidungsfindung für Überholmanöver
• Schiffsfolgemodus
• Sicherheitsabstände

Der Agent, in Fabians Harts Projekt ein Schiff, ist einer Reihe von Eingangsinformationen ausgesetzt, die er bei seinen Entscheidungen berücksichtigen muss. Diese können externer Natur sein wie z. B. die vorausliegende Flussgeometrie, die Flussdynamik oder die Fließtiefe. Sie können aber auch schiffsinterner Natur sein, wie z. B. die Motordynamik, hydrodynamische Effekte, die auf das Ruder reagieren, oder die Schiffsneigung in Abhängigkeit von der Geschwindigkeit. Von den vielen Aktionen, die ein solches Schiff ausführen muss, hat Fabian Hart die Längssteuerung als das Feld ausgewählt, in das er das Reinforcement Learning eingeführt hat.

Am Online- Seminar der Machine Learning Community Dresden nahmen 60 Personen teil. Die Frage- und Antwort-Session im Anschluss an den Vortrag war laut MLC-Dresden sehr rege. In den interaktiven Notizen wurden neun Fragen festgehalten, die wiederum jeweils zu Unterdiskussionen führten. "Das Kolloquium, das sich daraus entwickelte, war auch für Leute, die mit Reinforcement Learning nicht vertraut sind, super interessant", heißt es in einem Blog-Beitrag zu der Veranstaltung. Community-Mitglieder hätten auch interessante Papers geteilt, die z. B. die Interpretierbarkeit solcher Agenten untersuchen. Diese wurden in "Show Notes" festgehalten.

Weitere Infos: Die Slides und Show Notes aus dem Seminar und Kolloquium hat MLC-Dresden in dem Blog Post per Links geteilt.