{"id":37619,"date":"2024-12-18T14:47:44","date_gmt":"2024-12-18T13:47:44","guid":{"rendered":"https:\/\/www.l3s.de\/?page_id=37619"},"modified":"2024-12-19T14:43:16","modified_gmt":"2024-12-19T13:43:16","slug":"learning-with-structure","status":"publish","type":"page","link":"https:\/\/www.l3s.de\/de\/magazine\/binaire-articles\/learning-with-structure\/","title":{"rendered":"Lernen mit Struktur\u00a0"},"content":{"rendered":"
\r\n \r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n
\r\n
\r\n
<\/div>\r\n <\/div>\r\n
\r\n
<\/div>\r\n <\/div>\r\n
\r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n \r\n
\r\n \r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
\r\n

Das von DALL-E im Auftrag von Chat-GPT erstellte Bild: \u201eEin fotorealistisches Bild eines gro\u00dfen automatisierten Lagers, das wie mit einer hochwertigen DSLR-Kamera aufgenommen wurde. Das Lager ist mit autonomen Robotern ausgestattet, die rollenden Regalen \u00e4hneln\n mit gabelstapler\u00e4hnlichen Armen, die aktiv Waren kommissionieren, heben und transportieren. Echte Menschen in Warnwesten arbeiten im Lager und beaufsichtigen die Roboter. Die Umgebung ist hell erleuchtet, sauber und gut organisiert,\n Sie zeigt scharfe Details und Realismus.\u201c\n\n\u00dcbersetzt mit DeepL.com (kostenlose Version)<\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
\r\n

Ausgabe: 02\/2024<\/p>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n
Exzellenz in der KI-Forschung<\/span><\/a>\r\n <\/span>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
Verst\u00e4rkendes Lernen<\/h6>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n \r\n

Lernen mit Struktur <\/h1>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
\r\n

Deep Reinforcement Learning (RL) \u2013 dieser Zweig des maschinellen Lernens befasst sich mit KI-Systemen, die durch Interaktion mit der Welt lernen, sequenzielle Entscheidungen zu treffen. RL hat in einigen Bereichen schon bemerkenswerte Erfolge erzielt: von komplexen Strategien in Spielen wie Go \u00fcber mehrere Handlungssequenzen in der simulierten Robotik bis hin zur Feinabstimmung gro\u00dfer Sprachmodelle. Dennoch bleibt sein Einsatz in der realen Welt begrenzt, da es mit Herausforderungen wie ineffizienter Datennutzung, mangelnder Sicherheit und eingeschr\u00e4nkter Generalisierbarkeit konfrontiert ist. Eine Studie des Forschungszentrums L3S und der University of Texas at Austin zeigt, wie die Einbettung problemspezifischer Strukturinformation die Leistungsf\u00e4higkeit und Skalierbarkeit von RL-Systemen grundlegend verbessern kann.<\/p>\r\n

Grundlegende Herausforderungen \u00fcberwinden<\/h6>\r\n

\u201eEinige der gr\u00f6\u00dften Herausforderungen f\u00fcr RL ergeben sich aus der Unvorhersehbarkeit realer Szenarien\u201c, sagt Aditya Mohan, Hauptautor der Studie. RL-Algorithmen scheitern oft an dynamischen Umgebungen oder verrauschten Belohnungssignalen. Herk\u00f6mmliche RL-Modelle lernen in der Regel durch Trial-and-Error, um extrinsische Belohnungen zu maximieren. Dieses Verfahren ist nicht nur datenintensiv, sondern schr\u00e4nkt auch die \u00dcbertragbarkeit der Modelle auf neue Aufgaben stark ein. Ein Roboter, der in einer Simulation darauf trainiert wurde, eine blaue Tasse aufzuheben, k\u00f6nnte beispielsweise versagen, wenn sich die Farbe der Tasse \u00e4ndert.<\/p>\r\n

Die Einschr\u00e4nkung steht in krassem Gegensatz zum menschlichen Lernen. Im Wesentlichen entwickeln Kinder ein generelles Verst\u00e4ndnis ihrer Umwelt, das sie aufgabenspezifisch anwenden k\u00f6nnen. Dagegen werden RL-Algorithmen darauf trainiert, implizit gerade so viel \u00fcber die Welt zu lernen, dass sie die vom menschlichen Designer vorgegebene extrinsische Belohnung optimieren k\u00f6nnen. Um solche Algorithmen auf Ver\u00e4nderungen einzustellen, m\u00fcssten spezifische Belohnungen f\u00fcr einzelne Problemvarianten definiert werden.<\/p>\r\n

Strukturelle Informationen einbeziehen<\/h6>\r\n

Die Autoren pl\u00e4dieren daf\u00fcr, zus\u00e4tzliche strukturelle Informationen in die Modelle zu integrieren. Ein Beispiel: Ein RL-Agent, der ein Taxi in einer Stadt steuert, m\u00fcsste durch blo\u00dfe Interaktion das gesamte Stra\u00dfennetz, Verkehrsverhalten und Passagierbewegungen lernen \u2013 eine nahezu unl\u00f6sbare Aufgabe. Mit struktureller Information, etwa der Trennung von Verkehrs- und Passagiermustern, kann der Lernprozess effizienter und zielgerichteter gestaltet werden.<\/p>\r\n

Der Ansatz macht sich die M\u00f6glichkeit zunutze, komplexe Probleme in handhabbare Teilkomponenten zu zerlegen. Die Autoren haben recherchiert, inwieweit verschiedene RL-Methoden eine solche Zerlegbarkeit annehmen, und anschlie\u00dfend einen Rahmen entwickelt, um diese Annahmen zu kategorisieren. Die Studie identifiziert vier grundlegende Archetypen f\u00fcr die Dekomposition komplexer Probleme in RL-Modellen: latent, faktorisiert, relational und modular.<\/p>\r\n

Von Entwurfsentscheidungen zu Entwurfsmustern<\/h6>\r\n

RL-Algorithmen unterscheiden sich oft nur durch geringf\u00fcgige \u00c4nderungen an der Standard-RL-Pipeline. Algorithmen, die strukturelle Annahmen verwenden, tun dies in einer wiederholbaren Reihenfolge. Auf der Grundlage dieser Erkenntnis stellen Mohan und seine Co-Autoren ein Rahmenwerk vor, das Entwurfsmuster f\u00fcr die Einbettung von Strukturen in RL-Algorithmen skizziert, einschlie\u00dflich abstrakter Zust\u00e4nde, faktorisierter Modelle, relationaler Architekturen und modularer Designs. Die Analyse eines breiten Spektrums von RL-Arbeiten durch die Linse der Entwurfsmuster zeigt, welche Kombinationen von Mustern sich f\u00fcr bestimmte Anwendungen als effektiv erwiesen haben \u2212 von der Generalisierung bis zur Interpretierbarkeit. Beispielsweise kann ein Roboter durch die Einbeziehung relationaler Darstellungen Pakete in einem Lagerhaus effizient sortieren, da er die Beziehungen zwischen den Objekten versteht. In \u00e4hnlicher Weise k\u00f6nnen RL-Agenten durch die Verwendung von Belohnungsmodellen auch in Umgebungen mit wenigen Belohnungssignalen effizient lernen.<\/p>\r\n

Dieser strukturierte Ansatz beschleunigt nicht nur die Datenverarbeitung, sondern verbessert auch die Generalisierungsf\u00e4higkeit von RL-Agenten. Die Arbeit \u00f6ffnet neue Forschungsfelder, etwa die Identifikation optimaler Entwurfsmuster oder Kombinationen davon f\u00fcr unterschiedliche Anwendungen \u2013 je nach den gew\u00fcnschten Eigenschaften Generalisierbarkeit, Effizienz, Sicherheit oder Interpretierbarkeit. \u201eWir hoffen, dass unser Rahmenwerk als Leitfaden f\u00fcr die Weiterentwicklung von RL-Methoden dienen wird\u201c, sagt Mohan. \u201eDie Verwendung von Strukturen k\u00f6nnte der Schl\u00fcssel sein, um RL endlich auf die komplexe reale Welt auszuweiten.\u201c<\/p>\r\n

Aditya Mohan, Amy Zhang, Marius Lindauer: Structure in Deep Reinforcement Learning: A Survey and Open Problems. J. Artif. Intell. Res. 79: 1167-1236 (2024) <\/em>\r\n jair.org\/index.php\/jair\/article\/view\/15703\/27028<\/em><\/a>\r\n <\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n <\/span><\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
Kontakt<\/h6>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n \r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n

Aditya Mohan, M. Sc. <\/h4>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
a.mohan@ai.uni-hannover.de <\/span><\/a>\r\n <\/span>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n \r\n
\r\n

Aditya Mohan ist wissenschaftlicher Mitarbeiter am Forschungszentrum L3S und am Institut f\u00fcr Informationsverarbeitung, Fachgebiet Automatische Bildinterpretation, der Leibniz Universit\u00e4t Hannover. <\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n<\/div>","protected":false},"excerpt":{"rendered":"

The image created by DALL-E at the request of Chat-GPT: “A photorealistic image of a large automated warehouse, captured as if taken with a high-quality DSLR camera. The warehouse features autonomous robots resembling rolling shelves with forklift-style arms, actively picking, lifting, and transporting goods. Real humans in high-visibility vests are working in the warehouse, supervising […]<\/p>","protected":false},"author":11,"featured_media":37620,"parent":2750,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"page-templates\/full-width-page.php","meta":{"_acf_changed":false,"footnotes":""},"categories":[],"tags":[28,191],"class_list":["post-37619","page","type-page","status-publish","has-post-thumbnail","hentry","tag-binaire","tag-binaire-2024-02"],"acf":[],"aioseo_notices":[],"publishpress_future_action":{"enabled":false,"date":"2026-05-17 16:26:25","action":"category","newStatus":"draft","terms":[75],"taxonomy":"category","extraData":[]},"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/37619","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/comments?post=37619"}],"version-history":[{"count":6,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/37619\/revisions"}],"predecessor-version":[{"id":37913,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/37619\/revisions\/37913"}],"up":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/2750"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media\/37620"}],"wp:attachment":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media?parent=37619"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/categories?post=37619"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/tags?post=37619"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}