{"id":28305,"date":"2023-08-10T10:00:26","date_gmt":"2023-08-10T08:00:26","guid":{"rendered":"https:\/\/www.l3s.de\/?page_id=28305"},"modified":"2023-09-20T11:07:22","modified_gmt":"2023-09-20T09:07:22","slug":"research-comparisons-with-chatgpt","status":"publish","type":"page","link":"https:\/\/www.l3s.de\/de\/magazine\/binaire-articles\/research-comparisons-with-chatgpt\/","title":{"rendered":"Forschungsvergleiche mit ChatGPT"},"content":{"rendered":"
\r\n \r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n
\r\n
\r\n
<\/div>\r\n <\/div>\r\n
\r\n
<\/div>\r\n <\/div>\r\n
\r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n \r\n
\r\n \r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
\r\n

\u00a9Sergey Nivens – stock.adobe.com<\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
\r\n

Ausgabe 02\/2023<\/p>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n
K\u00fcnstliche Generative Intelligenz<\/span><\/a>\r\n <\/span>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
Generative KI f\u00fcr wissenschaftliche Erkenntnisse <\/h6>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n \r\n

Forschungsvergleiche mit ChatGPT<\/h1>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
\r\n

Jetzt ist also die Zeit der generativen KI angebrochen \u2013 mit ihren gro\u00dfen Sprachmodellen (englisch: Large Language Models, kurz LLM) wie ChatGPT, das auf dem LLM GPT-3.5 mit 6,7 Milliarden Parametern basiert. Informatiker hatten zwar erwartet, dass das Skalieren von Sprachmodellen ihre Leistung bei bereits bekannten Aufgaben steigern w\u00fcrde, aber nicht, dass die Modelle pl\u00f6tzlich so viel Neues und Unvorhersehbares meistern k\u00f6nnen. Tats\u00e4chlich erscheinen t\u00e4glich neue ChatGPT-Nutzungsszenarien in Blogs und Tweets. Dieses Ph\u00e4nomen, Emergenz genannt, tritt auf, wenn aus Wechselwirkungen innerhalb eines Systems neue komplexe Eigenschaften oder Verhaltensweisen entstehen. Emergenz ist in der Informatik heute eine zentrale Forschungsfrage; in der Biologie, Physik oder Kunst wird sie schon seit langem diskutiert. \u201eSoweit ich wei\u00df, wurde in der Literatur nie beschrieben, dass Sprachmodelle diese Arten von Aufgaben \u00fcbernehmen k\u00f6nnen\u201c, sagt Rishi Bommasani, Informatiker an der Stanford University. Im vergangenen Jahr half er, eine Liste dutzender emergenter Verhaltensweisen zusammenzustellen. Auch das von Ethan Dyer (Google Research) initiierte Projekt Beyond the Imitation Game Benchmark (BIG-bench) dokumentiert aufkommende Verhaltensweisen von LLMs. 444 Autoren aus 132 Institutionen haben dazu 204 Aufgaben beigesteuert. Die Themen sind vielf\u00e4ltig und umfassen Problemstellungen unter anderem aus den Bereichen Linguistik, kindliche Entwicklung, Mathematik, Biologie, Physik oder Softwareentwicklung.<\/p>\r\n

Im Joint Lab von L3S und TIB befassen sich Dr. Jennifer D\u2019Souza und ihr Team mit der Entwicklung und Nutzung von LLMs im Projekt Open Research Knowledge Graph (ORKG). Der ORKG nutzt semantische Technologien f\u00fcr den Austausch von Forschungswissen in neuer Form statt in PDF-Dokumenten. Das zentrale Element sind Forschungsvergleiche. Sie funktionieren \u00e4hnlich wie Amazon-Produktvergleiche, nur dass ORKG-Forschungsvergleiche auf strukturierten, eigenschaftsbasierten Beschreibungen von Forschungsbeitr\u00e4gen basieren. \u201eMit dem Open Research Knowledge Graph erfinden wir die wissenschaftliche Kommunikation neu\u201c, sagt Projektleiter Prof. Dr. S\u00f6ren Auer.<\/p>\r\n

Wie gut ist ChatGPT im Vergleichen von Forschungsbeitr\u00e4gen? Die Wissenschaftler haben den Chatbot aufgefordert, f\u00fcr drei Artikel einen Forschungsvergleich anhand ihrer Titel und Zusammenfassungen zu erstellen (Create a comparison table from the given text of the following three papers). Das Ergebnis: \u201eEin guter erster Versuch\u201c, sagt D\u00b4Souza.<\/p>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n
\r\n
\r\n \r\n \r\n \"\"\r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n \r\n
\r\n

Abb. 1: ChatGPT generiert einen Forschungsvergleich <\/p>\r\n

Allerdings sollte sich ein ORKG-Forschungsvergleich auf ein gemeinsames Forschungsproblem st\u00fctzen, in diesem Fall die Covid-19-Basisreproduktionszahl (R0). Um einen schl\u00fcssigen \u00dcberblick \u00fcber den Beitrag zu erhalten, m\u00fcssen der Zahl R0 weitere Eigenschaften gegen\u00fcbergestellt werden. Der obige Vergleich hat aber nur eine Eigenschaft korrekt wiedergegeben: den Wert von R0. Die Wissenschaftler forderten ChatGPT erneut auf, einen Forschungsvergleich zu erstellen, aber diesmal mit den gew\u00fcnschten Eigenschaften (Create a comparison table from the given text of the following three papers based on the following properties: location, date, R0 value, % CI values, and method).<\/p>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n
\r\n
\r\n \r\n \r\n \"\"\r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n \r\n
\r\n

Abb. 2: ChatGPT generiert einen Forschungsvergleich bei gegebenen Eigenschaften<\/p>\r\n

Bingo! Das Ergebnis (Abb. 2) ist ein Forschungsvergleich, der zu etwa 80 Prozent korrekt ist und keine Halluzinationen aufweist \u2212 ein Ph\u00e4nomen, bei dem LLMs Informationen erfinden. Dass LLMs Tabellen erzeugen, ist ein eher \u00fcberraschender Befund, der deutlich vom erwarteten Verhalten bei der Texterzeugung abweicht.<\/p>\r\n

Im Projekt ORKG forscht das Team aktiv am Einsatz von LLMs als Assistenten f\u00fcr die Generierung von Forschungsvergleichen. Der Artikel zeigt ein positives Beispiel, jedoch gibt es auch F\u00e4lle, in denen das Modell angesichts l\u00e4ngerer oder unzureichender Kontexte versagte oder sogar Informationen halluzinierte. \u201eIn den n\u00e4chsten Monaten wollen wir die F\u00e4higkeit der LLMs zur Erstellung von Forschungsvergleichen messen und hoffen, einen Beitrag zur Liste der emergenten Aufgaben in BIG-Bench leisten zu k\u00f6nnen\u201c, sagt D\u00b4Souza.<\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n

\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n <\/span><\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
Vorgestellte Projekte<\/h6>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n \"\"\r\n
<\/div>\r\n <\/div>\r\n <\/a>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n
Kontakt<\/h6>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n \r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n

Dr. Jennifer D\u2018Souza <\/h4>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
jennifer.dsouza@tib.eu <\/span><\/a>\r\n <\/span>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n \r\n
\r\n

Jennifer D'Souza ist Postdoktorandin im Projekt Open Research Knowledge Graph in der Gruppe Datenwissenschaft und Digitale Bibliotheken an der TIB. Sie forscht auf den Gebieten der Verarbeitung nat\u00fcrlicher Sprache und des Semantic\n Web. <\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n

\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n \r\n
<\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
\r\n \r\n
\r\n
\r\n \r\n \r\n
\r\n \r\n
\r\n \r\n
\r\n \r\n \r\n

Prof. Dr. S\u00f6ren Auer <\/h4>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n
auer@l3s.de <\/span><\/a>\r\n <\/span>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n
\r\n \r\n \r\n
\r\n

S\u00f6ren Auer ist Mitglied des erweiterten L3S-Direktoriums, Direktor der TIB \u2013 Leibniz-Informationszentrum Technik und Naturwissenschaften und Professor f\u00fcr Data Science und Digital Libraries an der LUH.<\/p>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n <\/div>\r\n<\/div>","protected":false},"excerpt":{"rendered":"

\u00a9Sergey Nivens – stock.adobe.com Issue: 02\/2023 Artificial Generative Intelligence Generative AI for scientific knowledge Research comparisons with ChatGPT So now the era of generative AI has arrived – with its large language models (LLMs) like ChatGPT, which is based on the LLM GPT-3.5 with 6.7 billion parameters. Computer scientists had expected that scaling language models […]<\/p>","protected":false},"author":4,"featured_media":28437,"parent":2750,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"page-templates\/full-width-page.php","meta":{"_acf_changed":false,"footnotes":""},"categories":[],"tags":[28,137],"class_list":["post-28305","page","type-page","status-publish","has-post-thumbnail","hentry","tag-binaire","tag-binaire-2023-02"],"acf":[],"aioseo_notices":[],"publishpress_future_action":{"enabled":false,"date":"2026-05-05 03:50:29","action":"category","newStatus":"draft","terms":[75],"taxonomy":"category","extraData":[]},"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/28305","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/comments?post=28305"}],"version-history":[{"count":0,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/28305\/revisions"}],"up":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/2750"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media\/28437"}],"wp:attachment":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media?parent=28305"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/categories?post=28305"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/tags?post=28305"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}