{"id":37943,"date":"2024-12-19T12:21:52","date_gmt":"2024-12-19T11:21:52","guid":{"rendered":"https:\/\/www.l3s.de\/?page_id=37943"},"modified":"2025-01-07T16:08:44","modified_gmt":"2025-01-07T15:08:44","slug":"how-gpt-4-fails-in-medical-tests-and-yet-still-convinces","status":"publish","type":"page","link":"https:\/\/www.l3s.de\/de\/magazine\/binaire-articles\/how-gpt-4-fails-in-medical-tests-and-yet-still-convinces\/","title":{"rendered":"Wie GPT-4 bei Medizinpr\u00fcfungen versagt - und leider trotzdem \u00fcberzeugt\u00a0"},"content":{"rendered":"
\n \n
\n \n \n
\n \n
\n \n
\n \n
\n
\n
\n
\n
<\/div>\n <\/div>\n
\n
<\/div>\n <\/div>\n
\n
<\/div>\n <\/div>\n <\/div>\n \n
\n \n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n \n
\n

Das Bild zeigt eine \u00dcbungsaufgabe f\u00fcr die United States Medical Licensing Examination (USMLE). Quelle: https:\/\/www.usmle.org\/exam-resources\/step-1-materials\/step-1-sample-test-questions<\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n \n
\n \n
\n
\n \n \n
\n \n
\n \n \n
\n

Ausgabe: 02\/2024<\/span><\/p>\n <\/div>\n <\/div>\n

\n \n
Exzellenz in der KI-Forschung<\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n
\n \n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n
\n \n \n
\n \n
\n \n
\n \n \n
KI in der Medizin<\/h6>\n <\/div>\n <\/div>\n
\n \n
\n \n \n

Wie GPT-4 bei Medizinpr\u00fcfungen versagt - und leider trotzdem \u00fcberzeugt <\/h1>\n <\/div>\n <\/div>\n
\n \n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n \n
\n

GPT-4 gilt als das fortschrittlichste Sprachmodell. Obwohl es in der Lage ist, komplexe medizinische Fragen zu beantworten, bleibt es nicht ohne Fehler. In einer aktuellen Studie haben Wissenschaftler des Forschungszentrums L3S, des IIT Kharagpur und der University of Michigan untersucht, welche Fehlerarten GPT-4 bei medizinischen Pr\u00fcfungsfragen macht und warum diese teilweise sogar von Fachleuten als \u201evern\u00fcnftig\u201c eingestuft werden. Die Untersuchung zeigt, dass GPT-4 nicht nur durch seine korrekten Antworten \u00fcberzeugt, sondern auch durch seine Fehler \u2013 und dass es noch viel Verbesserungspotenzial gibt.<\/p>\n

In der Welt der k\u00fcnstlichen Intelligenz (KI) gibt es viel Hype um GPT-4. Das Modell zeigt beeindruckende Leistungen, insbesondere bei der Beantwortung medizinischer Fragen. Im Datensatz MedQA-USMLE, der Fragen der US-amerikanischen Medizinlizenzpr\u00fcfung (USMLE) enth\u00e4lt, erreicht GPT-4 eine bemerkenswerte Genauigkeit von 86,7 Prozent. Doch selbst diese Erfolgsquote hinterl\u00e4sst 14 Prozent falsche Antworten - keine Kleinigkeit, wenn es um eine medizinische Diagnose geht.<\/p>\n

\u201eWir wollten verstehen, warum GPT-4 in diesen F\u00e4llen falsch liegt\u201c, erkl\u00e4rt Soumyadeep Roy, Doktorand am IIT Kharagpur und Hauptautor der Studie. Das Team erstellte eine Fehler-Taxonomie, die die Antworten von GPT-4 in sieben Fehlerkategorien einteilt. Dabei wurde insbesondere auf das Reasoning des Modells eingegangen, also auf die Denkprozesse und Schlussfolgerungen.<\/p>\n

Plausibel, aber falsch<\/h6>\n

In einem aufwendigen Verfahren lie\u00df das Forscherteam 44 medizinische Fachleute insgesamt 300 falsche Antworten von GPT-4 analysieren. Interessanterweise stellte sich heraus, dass ein Gro\u00dfteil der Fehler als \u201evern\u00fcnftige Antwort von GPT-4\u201c gewertet wurde. Das zeigt, dass selbst bei falschen Diagnosen die Argumentation von GPT-4 plausibel klingt \u2013 ein gro\u00dfes Problem f\u00fcr Mediziner, die diese Technologie als Unterst\u00fctzung nutzen wollen.<\/p>\n

\u201eEs ist erschreckend zu sehen, dass GPT-4 oft so \u00fcberzeugend argumentiert, dass selbst Experten die Fehler nicht sofort erkennen\u201c, betont Co-Autor Uwe Hadler vom L3S. Ein h\u00e4ufig beobachteter Fehler: GPT-4 erkannte zwar die Symptome und interpretierte sie korrekt, stellte aber dennoch eine falsche Diagnose, weil es an der falschen Entscheidung festhielt.<\/p>\n

KI verteidigt Fehler<\/h6>\n

Eine der gr\u00f6\u00dften Herausforderungen besteht darin, dass GPT-4 oft versucht, seine anf\u00e4ngliche Entscheidung zu rechtfertigen, anstatt auf die gegebenen Informationen richtig einzugehen. Dies f\u00fchrt zu Fehlern, die von der KI hartn\u00e4ckig verteidigt werden. \u201eWenn GPT-4 eine Entscheidung getroffen hat, gibt es kein Zur\u00fcck mehr\u201c, hei\u00dft es in der Studie.<\/p>\n

Trotz dieser Schw\u00e4chen wird GPT-4 weiterhin als potenziell wertvolles Werkzeug im medizinischen Bereich gesehen, vor allem wegen seiner F\u00e4higkeit, medizinische Informationen zusammenzufassen und Diagnosen vorzuschlagen. Die Forscher weisen jedoch darauf hin, dass ein detailliertes Verst\u00e4ndnis der Fehlerquellen entscheidend ist, um die Technologie weiter zu verbessern und sicherer zu machen.<\/p>\n

Lernerfolge ausbauf\u00e4hig<\/h6>\n

Ein weiterer Aspekt der Studie war das sogenannte \u201eDrift-Verhalten\u201c von GPT-4. Das bedeutet, dass sich die Leistung des Modells \u00fcber die Zeit ver\u00e4ndern kann. \u201eEs ist faszinierend, wie rasant sich GPT-4 im Laufe der Zeit verbessert\u201c, sagt Hadler. Eine Analyse der Antworten von GPT-4 im Abstand von mehreren Monaten zeigte, dass es in 23,3 Prozent der F\u00e4lle weiterhin Fehler macht, die es bereits vorher gemacht hatte. \u201eDas zeigt, dass es noch viel Raum f\u00fcr Verbesserungen gibt.\u201c<\/p>\n

Die Ergebnisse der Studie sind ein zweischneidiges Schwert: Auf der einen Seite zeigt GPT-4 beeindruckende F\u00e4higkeiten bei der Beantwortung medizinischer Fragen, auf der anderen Seite m\u00fcssen die Fehlerarten genau verstanden und adressiert werden, bevor solche Systeme in der medizinischen Praxis breiten Einsatz finden k\u00f6nnen. Bis dahin bleibt die k\u00fcnstliche Intelligenz ein Werkzeug, das mit Vorsicht zu genie\u00dfen ist.<\/p>\n

\u201eDie Tatsache, dass GPT-4 auch bei falschen Antworten so \u00fcberzeugend klingt, ist ein Hinweis darauf, wie schwierig es selbst f\u00fcr Experten sein kann, die Grenzen von KI-basierten Systemen zu erkennen und die richtige Balance zwischen Vertrauen und kritischer Hinterfragung zu finden,\" so die Autoren.<\/p>\n

Soumyadeep Roy, Aparup Khatua, Fatemeh Ghoochani, Uwe Hadler, Wolfgang Nejdl, Niloy Ganguly: Beyond Accuracy: Investigating Error Types in GPT-4 Responses to USMLE Questions. SIGIR 2024: 1073-1082 <\/em>\n dl.acm.org\/doi\/10.1145\/3626772.3657882<\/em><\/a>\n <\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n \n \n
\n \n
\n \n
\n \n
\n
\n \n \n
\n \n
\n <\/span><\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n
Kontakt<\/h6>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n
\n \n \n \n
<\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n

Soumyadeep Roy <\/h4>\n <\/div>\n <\/div>\n
\n \n
sroy@L3S.de <\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n \n
\n

Soumyadeep ist Doktorand am IIT Kharagpur und war 2,5 Jahre wissenschaftlicher Mitarbeiter am Leibniz KI-Labor des L3S. Seine Forschungsinteressen sind die Verarbeitung nat\u00fcrlicher Sprache und KI in der Medizin. Schwerpunkt seiner Doktorarbeit ist die Entwicklung von Techniken zur Anpassung von Dom\u00e4nen f\u00fcr verschiedene medizinische NLP- Anwendungen. <\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n
\n \n \n
\n \n
\n \n
\n
\n \n \n \n
<\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n

Uwe Hadler, M. Sc. <\/h4>\n <\/div>\n <\/div>\n
\n \n
uwe.hadler@L3S.de <\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n \n
\n

Uwe Hadler ist wissenschaftlicher Mitarbeiter am L3S und unterst\u00fctzt \u00fcber das Mittelstand-Digital Zentrum Hannover Unternehmen bei der Einf\u00fchrung von KI-Systemen. Sein Forschungsgebiet sind Sprachmodelle und die Entwicklung von Methoden, um die Zuverl\u00e4ssigkeit und Vertrauensw\u00fcrdigkeit von Sprachmodellen zu verbessern. <\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"

The picture shows a practice exercise for the United States Medical Licensing Examination (USMLE). Source: https:\/\/www.usmle.org\/exam-resources\/step-1-materials\/step-1-sample-test-questions Issue: 02\/2024 Excellence in AI-Research AI in Medicine How GPT-4 Fails in Medical Tests – and Yet Still Convinces GPT-4 is considered to be the most advanced language model. But while it is capable of answering complex medical questions, […]<\/p>","protected":false},"author":11,"featured_media":37934,"parent":2750,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"page-templates\/full-width-page.php","meta":{"_acf_changed":false,"footnotes":""},"categories":[],"tags":[28,191],"class_list":["post-37943","page","type-page","status-publish","has-post-thumbnail","hentry","tag-binaire","tag-binaire-2024-02"],"acf":[],"aioseo_notices":[],"publishpress_future_action":{"enabled":false,"date":"2026-05-26 04:03:47","action":"category","newStatus":"draft","terms":[75],"taxonomy":"category","extraData":[]},"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/37943","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/comments?post=37943"}],"version-history":[{"count":3,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/37943\/revisions"}],"predecessor-version":[{"id":38111,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/37943\/revisions\/38111"}],"up":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/2750"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media\/37934"}],"wp:attachment":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media?parent=37943"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/categories?post=37943"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/tags?post=37943"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}