Infinite-Parameter-LLM: Gewichte aus Live-Daten
Ein Preprint vom 16. September 2026 beschreibt eine Architektur, die Feed-Forward-Gewichte zur Laufzeit aus der Interaktion erzeugt statt sie fest zu speichern.
Kurz gesagt
Ein Forschungsteam schlägt mit dem Infinite-Parameter-LLM eine Architektur vor, bei der ein kompaktes Hypernetzwerk die Feed-Forward-Gewichte zur Laufzeit aus den gerade übergebenen Daten erzeugt, statt sie aus einem festen Speicher abzurufen.
Auf einen Blick
- Preprint arXiv:2609.18842, eingereicht am 16.09.2026, Kategorien cs.AI und cs.LG.
- Vier Autoren: Jinli Hu, Ross M. Clarke, Yichuan Zhang, José Miguel Hernández-Lobato.
- Kernidee: Ein Hypernetzwerk erzeugt Feed-Forward-Gewichte zur Laufzeit, statt sie fest zu speichern.
- Technisch: Low-Rank-Modulation eines gemeinsamen Basisnetzes, inspiriert von Mixture-of-Experts.
- Die Abstract-Seite nennt keine Parameterzahlen, Benchmarks oder Trainingskosten.
Das Infinite-Parameter-LLM dreht eine Grundannahme heutiger Sprachmodelle um: Statt die Feed-Forward-Gewichte fest im Modell zu hinterlegen, erzeugt ein kompaktes Hypernetzwerk sie erst zur Laufzeit — aus genau den Daten, die im laufenden Dialog anfallen. Beschrieben ist das in einem Preprint vom 16. September 2026 (arXiv:2609.18842) von Jinli Hu, Ross M. Clarke, Yichuan Zhang und José Miguel Hernández-Lobato.
Das Problem: eingefrorene Gewichte
Nach dem Training sind die Gewichte eines Sprachmodells unveränderlich. Alles, was ein Nutzer im Gespräch beisteuert — Fakten, Korrekturen, Kontext —, landet deshalb im Prompt: per Retrieval oder per Anweisung, bei jeder Anfrage neu gelesen und am Ende wieder verworfen. Das Modell wird dadurch nicht besser, es wird nur jedes Mal neu instruiert.
Der Vorschlag: Gewichte statt Prompt
Die Autoren übertragen eine Idee aus Mixture-of-Experts-Architekturen. Dort wird pro Token nur ein kleiner Teil eines sehr großen gespeicherten Gewichtsbestands aktiviert. Im Infinite-Parameter-LLM gibt es diesen Bestand nicht mehr: Ein Hypernetzwerk übersetzt die zur Laufzeit übergebenen Daten in eine Low-Rank-Modulation eines gemeinsam genutzten Basisnetzes. Die Feed-Forward-Gewichte werden also berechnet, nicht nachgeschlagen.
Was offen bleibt
Der Preprint ist bei arXiv unter cs.AI und cs.LG eingeordnet und hat kein Peer Review durchlaufen. Die von uns gelesene Abstract-Seite nennt weder Parameterzahlen noch Benchmark-Ergebnisse, Trainingskosten oder Vergleiche mit bestehenden MoE-Modellen. Ob der Ansatz in der Praxis trägt, ist damit nicht belegt — wir haben die Zusammenfassung geprüft, nicht das vollständige Paper.
Warum das interessant ist
Der Ansatz zielt auf eine bekannte Schwachstelle: Personalisierung und Fehlerkorrektur leben heute im Kontextfenster und verschwinden mit ihm. Ein Modell, das Laufzeitwissen in seine eigenen Gewichte schreibt, würde diese Grenze verschieben. Es wirft zugleich Fragen auf, die der Abstract nicht beantwortet — etwa wie sich solche Modulationen prüfen, voneinander trennen oder zurücknehmen lassen.
Häufige Fragen
Was ist ein Infinite-Parameter-LLM?
Eine im Preprint arXiv:2609.18842 vorgeschlagene Architektur, bei der ein Hypernetzwerk die Feed-Forward-Gewichte zur Laufzeit aus den übergebenen Daten erzeugt, statt sie aus einem festen Gewichtsspeicher zu laden.
Wie unterscheidet sich der Ansatz von Mixture-of-Experts?
MoE aktiviert pro Token einen Ausschnitt aus einem gespeicherten Gewichtsbestand. Der neue Ansatz verzichtet auf diesen Bestand und berechnet stattdessen eine Low-Rank-Modulation eines gemeinsamen Basisnetzes.
Gibt es schon Benchmark-Ergebnisse dazu?
Auf der von uns geprüften Abstract-Seite werden keine Benchmarks, Parameterzahlen oder Trainingskosten genannt. Der Preprint wurde am 16.09.2026 eingereicht und ist nicht begutachtet.
