{"id":34526,"date":"2024-08-08T14:09:03","date_gmt":"2024-08-08T12:09:03","guid":{"rendered":"https:\/\/www.l3s.de\/?page_id=34526"},"modified":"2024-08-13T12:09:16","modified_gmt":"2024-08-13T10:09:16","slug":"slimming-down-neural-networks","status":"publish","type":"page","link":"https:\/\/www.l3s.de\/de\/magazine\/binaire-articles\/slimming-down-neural-networks\/","title":{"rendered":"Schlankheitskur f\u00fcr neuronale Netze\u00a0\u00a0"},"content":{"rendered":"
\n \n
\n \n \n
\n \n
\n \n
\n \n
\n
\n
\n
\n
<\/div>\n <\/div>\n
\n
<\/div>\n <\/div>\n
\n
<\/div>\n <\/div>\n <\/div>\n \n
\n \n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n \n
\n

\u00a9Das Bild wurde von Magic Media erstellt.<\/span><\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n \n
\n \n
\n
\n \n \n
\n \n
\n \n \n
\n

Ausgabe: 01\/2024<\/p>\n <\/div>\n <\/div>\n

\n \n
KI, Energie und Ressourcenschutz<\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n
\n \n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n
\n \n \n
\n \n
\n \n
\n \n \n
Effiziente und verantwortungsvolle KI<\/h6>\n <\/div>\n <\/div>\n
\n \n
\n \n \n

Schlankheitskur f\u00fcr neuronale Netze <\/h1>\n <\/div>\n <\/div>\n
\n \n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n \n
\n

Der wachsende Einsatz von k\u00fcnstlicher Intelligenz (KI) sorgt f\u00fcr steigende energetische Kosten und hinterl\u00e4sst damit einen nennenswerten Fu\u00dfabdruck in der \u00d6kobilanz. Doch k\u00f6nnen die Vorteile von KI auch energetisch effizient und sparsam genutzt werden? Im Projekt Automatisiertes Green-ML f\u00fcr Fahrerassistenzsysteme, kurz GreenAutoML4FAS, suchen Wissenschaftler des L3S gemeinsam mit dem hannoverschen Unternehmen VISCODA nach L\u00f6sungen f\u00fcr effiziente KI-Anwendungen beim autonomen Fahren.<\/p>\n

In den letzten Jahren konnte die \u00d6ffentlichkeit durch neue Anwendungen beobachten, wie k\u00fcnstliche neuronale Netzwerke immer leistungsf\u00e4higer wurden. Gro\u00dfe neuronale Netzwerke wie ChatGPT ben\u00f6tigen dabei enorme Rechenressourcen. Ein Grund: Sie nutzen viele Milliarden Gewichte. Ein Gewicht gibt an, welche Bedeutung jede einzelne Verbindung zwischen den Neuronen des Netzwerks hat. Die Anzahl der genutzten Gewichte korreliert in etwa mit der ben\u00f6tigten Energie. Da zuk\u00fcnftige Fahrzeuge m\u00f6glichst sparsam und effizient sein sollen, lassen sich gro\u00dfe Modelle aus der KI-Forschung nicht so einfach in Millionen Fahrzeugen verbauen. \u201eEines unserer Ziele ist es daher, die F\u00e4higkeit von bestehenden gro\u00dfen Netzwerken in kleine Netzwerke mit wenigen Gewichten zu komprimieren, ohne dass die Genauigkeit nennenswert sinkt\u201c, sagt Timo Kaiser, der zusammen mit Patrick Glandorf und Prof. Dr.-Ing. Bodo Rosenhahn am Institut f\u00fcr Informationsverarbeitung der Leibniz Universit\u00e4t Hannover forscht.<\/p>\n

Wenige Gewichte notwendig<\/h6>\n

Sparsifizierte neuronale Netzwerke (Englisch sparse: sp\u00e4rlich) nutzen nur einen Bruchteil der vorhandenen Gewichte. In ihrer Studie Hypersparse Neural Networks haben die hannoverschen Wissenschaftler eine Methode ver\u00f6ffentlicht, mit der regul\u00e4r genutzte Gewichte sukzessive aus dem neuronalen Netzwerk entfernt werden k\u00f6nnen. Dabei werden die neuronalen Netze nicht nur wie \u00fcblich mit gro\u00dfen Datenmengen trainiert, sondern es kommt noch eine Schwierigkeit hinzu: Der Trainingsalgorithmus wird \u201ebestraft\u201c, wenn er f\u00fcr die Berechnung des Ergebnisses zu viele Gewichte ben\u00f6tigt. Um die Hauptaufgabe, zum Beispiel das Klassifizieren von Bildern, weiterhin l\u00f6sen zu k\u00f6nnen, muss der Trainingsalgorithmus ein bereits trainiertes neuronales Netzwerk so umstrukturieren, dass eine sinnvolle Klassifikation auch mit wenigen Gewichten m\u00f6glich ist. Nach dem Training lassen sich die \u00fcberfl\u00fcssigen Gewichte physisch von der Hardware entfernen. \u201eWir sehen, dass sich je nach Anwendung problemlos bis zu 98 Prozent der Gewichte entfernen lassen, ohne dass die Genauigkeit kritisch sinkt,\u201c sagt Patrick Glandorf, Erstautor der Studie.<\/p>\n

Neue Einblicke in die KI<\/h6>\n

Bei der Untersuchung des Algorithmus lernten die Wissenschaftler auch interessante Details \u00fcber das Verhalten von KI kennen. Entfernt man n\u00e4mlich den Gro\u00dfteil der Gewichte, bevor der Algorithmus die Komprimierung abgeschlossen hat, verschlechtert sich die Qualit\u00e4t des neuronalen Netzwerkes. Allerdings nicht willk\u00fcrlich, wie das Beispiel des CIFAR-10-Datensatzes zeigt. CIFAR 10 geh\u00f6rt mit einem Bestand von 60.000 Bildern, die in zehn Gruppen klassifiziert sind (Katzen, V\u00f6gel etc.), zu den in der Forschung zum maschinellen Lernen am h\u00e4ufigsten genutzten Datens\u00e4tzen. Die neuronalen Netzwerke scheinen die zehn Klassen unterschiedlich gut zu komprimieren. Bricht man die Komprimierung deutlich zu fr\u00fch ab, unterscheiden die Netzwerke tendenziell bereits zwischen Rehen, V\u00f6geln und Katzen, erkennen aber weder Pferde noch Flugzeuge. Die F\u00e4higkeit, letztere Klassen zu erkennen, wird dann sukzessive w\u00e4hrend der Anwendung des Algorithmus komprimiert. \u201eDiese Erkenntnisse geben Aufschluss \u00fcber die Benachteiligung bestimmter, vielleicht vulnerabler Gruppen\u201c, sagt Kaiser. Auch Pferde h\u00e4tten ein Recht darauf, im Stra\u00dfenverkehr erkannt zu werden.<\/p>\n

\u201eMit unserer Forschung stellen wir die Weichen f\u00fcr den verantwortungsvollen und effizienten Einsatz von k\u00fcnstlicher Intelligenz in allt\u00e4glichen Anwendungen\u201c, sagt Prof. Rosenhahn. \u201eDamit die neuen Technologien breit zug\u00e4nglich werden und dabei nicht zu Problemen in klimapolitischen Fragen werden, m\u00fcssen wir die Effizienz von KI genauso in den Fokus setzen, wie dessen reine F\u00e4higkeit, Probleme m\u00f6glichst genau zu l\u00f6sen. Mit dem Projekt GreenAutoML4FAS gehen wir hier einen gro\u00dfen Schritt in die richtige Richtung!\u201c<\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n \n \n
\n \n
\n \n
\n \n
\n
\n \n \n
\n \n
\n <\/span><\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n
Vorgestellte Projekte<\/h6>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n \n \n \"\"\n
<\/div>\n <\/div>\n <\/a>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n
\n \n \n
\n \n
\n \n
\n \n \n
Kontakt<\/h6>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n
\n \n \n \"\"\n
<\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n

Timo Kaiser, M. Sc. <\/h4>\n <\/div>\n <\/div>\n
\n \n
kaiser@tnt.uni-hannover.de <\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n \n
\n

Timo Kaiser ist Wissenschaftlicher Mitarbeiter am Institut f\u00fcr Informationsverarbeitung. Er besch\u00e4ftigt sich mit dem Multiple-Object-Tracking und Unsicherheit in maschinellem Lernen. <\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n
\n \n \n
\n \n
\n \n
\n
\n \n \n \"\"\n
<\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n

Patrick Glandorf, M. Sc. <\/h4>\n <\/div>\n <\/div>\n
\n \n
glandorf@tnt.uni-hannover.de <\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n \n
\n

Patrick Glandorf ist Wissenschaftlicher Mitarbeiter am Institut f\u00fcr Informationsverarbeitung. Er forscht auf dem Gebiet des Ressourcen-effizienten maschinellen Lernens. <\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n

\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n
\n \n \n \"\"\n
<\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n
\n \n
\n
\n \n \n
\n \n
\n \n
\n \n \n

Prof. Dr.-Ing. Bodo Rosenhahn <\/h4>\n <\/div>\n <\/div>\n
\n \n
rosenhahn@L3S.de <\/span><\/a>\n <\/span>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n
\n \n \n
\n

Bodo Rosenhahn ist Direktor am L3S und leitet das Institut f\u00fcr Informationsverarbeitung. Er forscht auf den Gebieten Computer Vision, Maschinelles Lernen und Big Data. <\/p>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n <\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"

\u00a9The image generated by Magic Media. Issue: 01\/2024 AI, Energy and Resource Conservation Efficient and responsible AI Slimming down neural networks The growing use of artificial intelligence (AI) is increasing energy costs and leaving a significant footprint on the ecological balance sheet. But can the advantages of AI also be used in an energy-efficient and […]<\/p>\n","protected":false},"author":11,"featured_media":34551,"parent":2750,"menu_order":0,"comment_status":"closed","ping_status":"closed","template":"page-templates\/full-width-page.php","meta":{"_acf_changed":false,"footnotes":""},"categories":[],"tags":[28,172],"class_list":["post-34526","page","type-page","status-publish","has-post-thumbnail","hentry","tag-binaire","tag-binaire-2024-01"],"acf":[],"aioseo_notices":[],"publishpress_future_action":{"enabled":false,"date":"2026-06-03 11:06:13","action":"category","newStatus":"draft","terms":[75],"taxonomy":"category","extraData":[]},"publishpress_future_workflow_manual_trigger":{"enabledWorkflows":[]},"_links":{"self":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/34526","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/users\/11"}],"replies":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/comments?post=34526"}],"version-history":[{"count":6,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/34526\/revisions"}],"predecessor-version":[{"id":34644,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/34526\/revisions\/34644"}],"up":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/pages\/2750"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media\/34551"}],"wp:attachment":[{"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/media?parent=34526"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/categories?post=34526"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.l3s.de\/de\/wp-json\/wp\/v2\/tags?post=34526"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}