{"id":34752,"date":"2024-08-13T15:12:25","date_gmt":"2024-08-13T13:12:25","guid":{"rendered":"https:\/\/www.l3s.de\/?p=34752"},"modified":"2024-09-05T15:48:40","modified_gmt":"2024-09-05T13:48:40","slug":"language-models-for-medical-text-summarisation","status":"publish","type":"post","link":"https:\/\/www.l3s.de\/de\/language-models-for-medical-text-summarisation\/","title":{"rendered":"Mit Sprachmodellen medizinische Texte zusammenfassen"},"content":{"rendered":"

L3S Bestes Paper des Quartals (Q2\/2024) <\/strong> 
Category: NLP, Generative AI<\/strong><\/p>\n\n\n\n

MEDVOC: Vokabularanpassung zur Feinabstimmung vorab trainierter Sprachmodelle f\u00fcr die Zusammenfassung medizinischer Texte<\/strong> <\/p>\n\n\n\n

Autoren: Gunjan Balde, Soumyadeep Roy, Mainack Mondal, Niloy Ganguly <\/p>\n\n\n\n

Pr\u00e4sentiert auf der IJCAI 2024, der 33. Internationalen gemeinsamen Konferenz f\u00fcr k\u00fcnstliche Intelligenz (A*-Konferenz)<\/em> <\/p>\n\n\n\n

https:\/\/arxiv.org\/abs\/2405.04163<\/a><\/p>\n\n\n\n

<\/div>\n\n\n\n

Die Ver\u00f6ffentlichung in K\u00fcrze:<\/strong> <\/p>\n\n\n\n

Unsere Arbeit pr\u00e4sentiert eine dynamische Vokabelanpassungsstrategie, MEDVOC, zur Feinabstimmung vorab trainierter Sprachmodelle (PLMs) f\u00fcr eine verbesserte medizinische Zusammenfassung. Wir schlagen eine neuartige, effiziente, dynamische und zielaufgabenbewusste Vokabelanpassungsstrategie vor, die das Vokabular als optimierbaren Parameter behandelt und das PLM-Vokabular basierend auf einem Fragmentwert optimiert, der nur von den Referenzzusammenfassungen der Zielaufgabe abh\u00e4ngt. Dieser Ansatz verbessert die Modellleistung in anspruchsvollen Szenarien mit hoher OOV-Konzentration (Out-Of-Vocabulary) und Langformgenerierung f\u00fcr die Zusammenfassung medizinischer Texte. <\/p>\n\n\n\n

Welches Problem l\u00f6sen Sie mit Ihrer Forschung?<\/strong> <\/p>\n\n\n\n

In dieser Arbeit l\u00f6sen wir das Problem der fehlerhaften Tokenisierung, das bei der Zusammenfassung medizinischer Texte in Bezug auf PLM-Vokabular auftritt. Dieses Problem betrifft sowohl den Encoder als auch den Decoder von PLM: In der Encoderphase f\u00fchrt \u00fcberm\u00e4\u00dfiges Aufteilen zu einer schlechten Darstellung und Bedeutungsverlust, und in der Decodierungsphase muss das Modell mehr Token generieren, um das entsprechende medizinische Wort zu generieren. <\/p>\n\n\n\n

Welche potenziellen Auswirkungen haben Ihre Ergebnisse?  <\/strong> <\/p>\n\n\n\n

Die potenziellen Auswirkungen sind im Bereich der medizinischen Zusammenfassung vorteilhaft, insbesondere in Szenarien, in denen die faktische Konsistenz ein wichtiger Aspekt ist. Unser Ansatz ist im Vergleich zu Baselines faktisch konsistenter, wie medizinische Experten bei der Einrichtung der menschlichen Evaluierung festgestellt haben. <\/p>\n\n\n\n

Was ist neu an Ihrer Forschung?<\/strong> <\/p>\n\n\n\n

Unsere Arbeit ist die erste, die eine Vokabelanpassung zur Feinabstimmung von vorab trainierten Open-Domain-Sprachmodellen f\u00fcr die Zusammenfassung medizinischer Texte vorschl\u00e4gt. Unsere vorgeschlagenen Methoden \u00fcbertreffen Baselines in anspruchsvollen Szenarien deutlich, wenn die Referenzzusammenfassung viele W\u00f6rter enth\u00e4lt, die nicht im Vokabular enthalten sind, und wenn die Zusammenfassungen typischerweise l\u00e4nger sind. Unser Ansatz ist auch in Zero-Shot- und Few-Shot-Einstellungen (10.100) besser als Baselines. <\/p>\n\n\n\n

Vorabdruck<\/strong>: Balde, G., Roy, S., Mondal, M. und Ganguly, N. (2024). MEDVOC: Vokabularanpassung zur Feinabstimmung vorab trainierter Sprachmodelle bei der Zusammenfassung medizinischer Texte. arXiv-Vorabdruck arXiv:2405.04163<\/em>. <\/p>","protected":false},"excerpt":{"rendered":"

The best L3S paper of the quarter in the category “NLP,Generative AI” shows how to translate medical texts with language models. <\/p>","protected":false},"author":11,"featured_media":34755,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[161],"tags":[],"class_list":["post-34752","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-best-publications"],"acf":[],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t