L3S Best Publication of the Quarter (Q4/2024 – Q1/2025)
Kategorie: Explainable AI, RL
Explainable Reinforcement Learning via Dynamic Mixture Policies
Autoren: Maximilian Schier, Frederik Schubert, Bodo Rosenhahn
Veröffentlicht in: IEEE
Das Papier in Kürze:
In unserem Beitrag wird ein neuer Ansatz für das Verstärkungslernen (Reinforcement Learning, RL) vorgestellt, eine Form des maschinellen Lernens, bei der Agenten lernen, Entscheidungen auf der Grundlage von Belohnungen zu treffen. Dieser Forschungsbereich ist von hohem Interesse für z. B. das autonome Fahren und die Robotik, da RL ermöglicht, komplexe Strategien zur Entscheidungsfindung und Steuerung eines Systems nur durch Vorgabe eines Ziels zu erlernen. Unsere Methode verbessert die Erklärbarkeit von RL-Policies (Entscheidungsstrategien) durch Verwendung von Mischverteilungen, welche "per Design" erklärbar sind. Dabei werden die Beobachtungen in Teilräume unterteilt, jeder mit seiner eigenen Strategie, und die Policy liefert klare, wahrheitsgetreue und leicht lesbare Erklärungen mit hoher Verständlichkeit. Unsere Architektur übertrifft dabei in verschiedenen Szenarien auch die Leistung von weniger erklärbaren Standardverfahren, z. B. im Bereich autonomes Fahren, und gewährleistet einen transparenten und vertrauenswürdigen Entscheidungsprozess.
Welches Problem lösen Sie mit Ihrer Forschung?
Unsere Forschung befasst sich mit dem Problem der mangelnden Transparenz und Erklärbarkeit von RL-Policies, was das Vertrauen und das Verständnis in ihren Entscheidungsprozess und damit auch ihre Adoption in realen Anwendungen behindert.
Was ist neu an Ihrer Forschung?
Wir stellen eine neue Architektur für stochastische Policies in RL vor, welche Mischverteilungen auf eine Art und Weise verwendet, dass die Policy inhärent durch ihr Design erklärbar ist. Dies wird durch Unterteilung der Beobachtungen der Policy in Teilräume mit klaren Erklärungen auf Komponentenebene erreicht. Diese Innovation erhöht die Transparenz von RL-Entscheidungen.
Welche potenziellen Auswirkungen haben Ihre Ergebnisse?
Die Ergebnisse könnte zu einer breiteren Einführung des RL in der Praxis führen, da unsere Arbeit das Vertrauen in gelernte Policies durch transparente und erklärbare Entscheidungsfindung stärkt. Unser Ansatz könnte dabei helfen, die Sicherheit und die Einhaltung von regulatorischen Vorschriften in kritischen Anwendungen wie autonomen Fahrzeugen und der Robotik zu verbessern, wo das Verständnis von Entscheidungsprozessen entscheidend ist.
Link zum Paper: tnt.uni-hannover.de/papers/data/1769/ICRA_2025-4.pdf
