L3S Best Publication of the Quarter (Q3/2024)
Category: Natural Language Processing, Large Language Models
LLM-based Rewriting of Inappropriate Argumentation using Reinforcement Learning from Machine Feedback
Authors: Timon Ziegenbein, Gabriella Skitalinskaya, Alireza Bayat Makou, Henning Wachsmuth
Veröffentlicht in Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (A* conference)
Das Papier in Kürze:
Eine große Herausforderung für Social-Media-Plattformen ist es, dafür zu sorgen, dass Online-Diskussionen zivil und produktiv verlaufen. Solche Plattformen verlassen sich in der Regel sowohl auf Nutzer als auch auf automatische Erkennungsinstrumente, um unangemessene Argumente anderer Nutzer zu markieren, die dann von Moderatoren überprüft werden. Diese Art der Post-Hoc-Moderation ist jedoch teuer und zeitaufwändig, und die Moderatoren sind mit der Menge und Schwere der markierten Inhalte oft überfordert. Eine vielversprechende Alternative besteht darin, negatives Verhalten bereits bei der Erstellung von Inhalten zu verhindern. In diesem Beitrag wird untersucht, wie unangemessene Sprache in Argumenten rechnerisch entschärft werden kann. Wir schlagen einen rechnerischen Ansatz vor, der auf der Grundlage eines großen Sprachmodells (LLM) ein Gleichgewicht zwischen dem Erhalt des Inhalts und der Angemessenheit herstellt. Wir evaluieren verschiedene Grade der Inhaltserhaltung und Angemessenheit in menschlichen Bewertungsstudien. Systematische Experimente zeigen, dass unser Ansatz die Unangemessenheit von Argumenten abschwächen kann, während ihr Inhalt weitgehend erhalten bleibt. Er übertrifft signifikant konkurrierende Berechnungsgrundlagen und Menschen.
Welche potenziellen Auswirkungen haben Ihre Ergebnisse?
Die Ergebnisse dieser Forschung können für die Entwicklung eines computergestützten Tools genutzt werden, das Nutzern helfen kann, in Online-Diskussionen angemessenere Argumente zu verfassen. Dieses Tool kann in Social-Media-Plattformen integriert werden, um negatives Verhalten bei der Erstellung von Inhalten zu verhindern. Dies kann dazu beitragen, die Qualität von Online-Diskussionen zu verbessern und Social-Media-Plattformen zivilisierter und produktiver zu machen.
Was ist das Neue an Ihrer Forschung?
Diese Forschungsarbeit ist die erste, die einen rechnerischen Ansatz vorschlägt, der die Erhaltung des Inhalts und die Angemessenheit beim Umschreiben unangemessener Argumente in Einklang bringt. Der Ansatz basiert auf einem großen Sprachmodell (Large Language Model, LLM) und nutzt Verstärkungslernen, um zu lernen, wie man Argumente umschreibt, ohne dass parallele Daten benötigt werden.
Link zum Paper: https://aclanthology.org/2024.acl-long.244.pdf
