L3S Beste Veröffentlichung des Quartals (Q3+Q4/2025)
Kategorie: AutoML
Authors: Difan Deng, Marius Lindauer
Presented at NeurIPS 2025
Aktuelle KI-Modelle sind enorm leistungsfähig, aber ihre Betriebskosten explodieren, weil sie Informationen nicht prioritär behandeln können. Sie versuchen, jedes einzelne Wort zu speichern, egal wie irrelevant es ist. Wir Menschen funktionieren anders: Wir konzentrieren uns intuitiv auf das Wesentliche.
Diese Arbeit stellt Neural Attention Search (NAtS) vor – ein Framework, das der KI ermöglicht, diesen menschlichen Fokus zu imitieren. Anstatt starren Regeln zu folgen, lernt die KI mit NAtS selbstständig, welche Informationen entscheidend sind und welche ignoriert werden können. Das Ergebnis ist eine ‚schlanke‘ KI, die den Energieverbrauch und die Hardwarekosten massiv senkt, ohne an Intelligenz zu verlieren. So wird High-End-KI sowohl wirtschaftlich rentabel als auch ökologisch nachhaltig.
Link zum vollständigen Artikel: https://arxiv.org/abs/2502.13251
