Transformers 5.16.1 bringt GLM-5.3-Flash
Das Release fügt das erste nativ multimodale GLM-5-Modell hinzu: 320 Milliarden Parameter, davon 18 Milliarden aktiv. Dazu zwei Fehlerkorrekturen.
Symbolbild: eine nächtliche Rechenzentrumsgasse mit langen Reihen dunkler Racks und schmalen blauen und bernsteinfarbenen Kontrollleuchten.
Transformers 5.16.1 ist ein kleines Punkt-Release, dessen einzige größere Neuerung die Unterstützung für GLM-5.3-Flash ist — ein Modell mit 320 Milliarden Parametern insgesamt und 18 Milliarden aktiven Parametern.
Auf einen Blick
- Version 5.16.1 der Bibliothek Transformers ergänzt die Unterstützung für GLM-5.3-Flash.
- Modellgröße laut Release-Notes: 320 Milliarden (320B) Parameter gesamt, davon 18 Milliarden (18B) aktiv.
- Architektur laut Release-Notes: sparse und lineare Attention kombiniert, dazu Manifold-Constrained Hyper-Connections (mHC).
- Vortraining den Angaben zufolge auf einem multimodalen Korpus von 30 Billionen Token (30T).
- Zwei Fehlerkorrekturen: Rückwärtskompatibilität der Tensor-Parallel-API und Pfade für ESMFold2.
Transformers 5.16.1 ist ein Punkt-Release mit einer großen Ergänzung: Die Bibliothek unterstützt jetzt GLM-5.3-Flash, laut Release-Notes das erste nativ multimodale Modell der GLM-5-Reihe. Dazu kommen zwei kleinere Fehlerkorrekturen. Mehr steht in den Release-Notes nicht.
Die Zahlen, die im Release stehen
Die Notes nennen 320 Milliarden (320B) Parameter insgesamt und 18 Milliarden (18B) aktive Parameter. Die Architektur wird als Kombination aus sparser und linearer Attention beschrieben, ergänzt um ein Verfahren namens Manifold-Constrained Hyper-Connections (mHC). Das Vortraining erfolgte den Angaben zufolge auf einem multimodalen Korpus von 30 Billionen Token (30T).
Das Verhältnis von Gesamt- zu aktiven Parametern ist der eigentliche Punkt: Nur ein Bruchteil des Modells wird pro Durchlauf gerechnet. Genau daraus leiten die Notes ihre Kostenaussage ab.
Was das Release über die Leistung behauptet
Gegenüber GLM-5.2 soll das neue Modell über Benchmarks und reale Arbeitslasten hinweg besser abschneiden — bei einem Zehntel des Preises. Bei Coding- und Agenten-Benchmarks soll es an Claude Opus 4.8 heranreichen.
Beide Aussagen stehen so im Release-Text. Sie sind nicht das Ergebnis einer unabhängigen Messung, und die Notes nennen weder die verwendeten Benchmark-Suiten noch absolute Preise. Wer die Zahlen prüfen will, braucht eigene Läufe.
Die zwei Fehlerkorrekturen
Neben dem Modell listet das Release zwei Korrekturen: Die Rückwärtskompatibilität der Tensor-Parallel-API wurde wiederhergestellt, und die Kernel- sowie Repository-Pfade für ESMFold2 wurden korrigiert. Als Beitragende sind @Dovis01, @ArthurZucker und @Rocketknight1 genannt.
Die Wiederherstellung der Tensor-Parallel-Kompatibilität betrifft Nutzerinnen und Nutzer, die Modelle über mehrere Grafikkarten verteilen — also fast jeden, der Modelle dieser Größenordnung selbst betreibt.
Warum ein Bibliotheks-Release überhaupt zählt
Transformers ist für viele Teams die Ebene, auf der ein Modell praktisch nutzbar wird: Erst mit einer Modellklasse in der Bibliothek lässt sich eine Architektur ohne eigenen Ladecode ausprobieren. Die Dokumentation führt das Modell unter der Kennung GLM5_next.
Was diese eine Quelle nicht belegt
Für diesen Text lag genau eine unabhängige Quelle vor: die Release-Seite auf GitHub. Die redaktionelle Mindestregel von zwei unabhängigen Quellen ist damit nicht erfüllt, und wir haben sie nicht durch eine zweite, ungeprüfte Quelle ersetzt.
Unbelegt bleiben deshalb: die Benchmark- und Preisaussagen, weil sie aus dem Release selbst stammen; Lizenz und Verfügbarkeit der Gewichte, weil die Notes dazu nichts sagen; die Kontextlänge, aus demselben Grund. Auch das Veröffentlichungsdatum der Seite konnten wir nicht verlässlich auslesen, weshalb hier keines steht.
Häufige Fragen
Was ist neu in Transformers 5.16.1?
Das Release ergänzt die Unterstützung für GLM-5.3-Flash und behebt zwei Fehler: die Rückwärtskompatibilität der Tensor-Parallel-API und die Kernel- und Repository-Pfade für ESMFold2.
Wie groß ist GLM-5.3-Flash?
Die Release-Notes nennen 320 Milliarden Parameter insgesamt und 18 Milliarden aktive Parameter. Vortrainiert wurde den Angaben zufolge auf 30 Billionen Token multimodaler Daten.
Ist GLM-5.3-Flash besser als Claude Opus 4.8?
Das lässt sich aus dieser Quelle nicht sagen. Die Release-Notes formulieren nur, das Modell reiche bei Coding- und Agenten-Benchmarks an Claude Opus 4.8 heran; welche Tests gemeint sind, steht nicht dabei.
