FreeToken bringt riesige MoE-Modelle auf Consumer-GPUs
Die Open-Source-Engine verteilt jeden Token in Echtzeit zwischen CPU und GPU und erreicht laut InfoQ 39 Token pro Sekunde auf einer 8-GB-Karte.
Die Illustration zeigt einen geoeffneten Heim-PC im Halbdunkel, dessen Kuehlkoerper und Platinen im Licht einer Schreibtischlampe liegen.
FreeToken ist eine quelloffene Inferenz-Engine, die grosse Mixture-of-Experts-Modelle dadurch auf Consumer-Hardware bringt, dass sie jeden Token zur Laufzeit zwischen CPU und GPU aufteilt.
Auf einen Blick
- FreeToken teilt die Rechenlast pro Token dynamisch zwischen CPU-Kernen und GPU-Tensorkernen auf.
- Rund 39 Token pro Sekunde fuer Qwen 3.6-35B auf einem Notebook mit RTX 4060 und 8 GB VRAM.
- DeepSeek-V4-Flash (284 Mrd. Parameter) auf RTX 5090, GLM-5.2 (753 Mrd.) auf einer Workstation-GPU.
- Laut Bericht drei- bis vierfaches Decoding und sechs- bis dreissigfaches Prefill gegenueber Alternativen.
- Nur eine unabhaengige Redaktion: Messwerte, Lizenz und Testaufbau sind nicht zweitbelegt.
FreeToken ist eine quelloffene Inferenz-Engine, die grosse Mixture-of-Experts-Modelle auf gewoehnlichen Spiele-PCs und Notebooks lauffaehig machen soll. Statt CPU und GPU als getrennte Welten zu behandeln, verteilt sie die Rechenlast pro Token dynamisch zwischen beiden. InfoQ beschreibt das Projekt am 29.08.2026 als Arbeit von Forschenden aus UC Berkeley und MIT, unter ihnen Matei Zaharia, Ion Stoica, Song Han und Kurt Keutzer.
Was die Engine anders macht
Kern ist eine Scheduling-Politik, die der Bericht als q*-Policy bezeichnet. Sie entscheidet zur Laufzeit anhand des gemessenen PCIe-Durchsatzes, welcher Teil eines Tokens auf den CPU-Kernen und welcher auf den Tensorkernen landet. Damit soll die GPU nicht mehr stillstehen, waehrend fehlende Expertengewichte nachgeladen werden.
Dazu kommt ein eigenes Gewichtsformat, im Text FTW genannt, das vollstaendiges Double Buffering ganzer Layer erlauben soll. Das Streaming der Gewichte ueber PCIe ueberlappt dann mit der laufenden Berechnung. Ein elastischer Speicher-Manager verschiebt VRAM waehrend des Betriebs zwischen KV-Cache und Expertenplaetzen, ohne das Modell neu zu laden.
Fuer Agenten-Workloads nennt InfoQ ein viertes Element: Semantic Anchor Checkpointing sichert Zwischenzustaende der Attention an Aufgabengrenzen. Aendert sich ein Prompt nachtraeglich, sollen Teilzustaende wiederverwendbar bleiben, statt den gesamten Cache zu verwerfen.
Die genannten Zahlen
Der Bericht nennt drei Messpunkte: Qwen 3.6-35B mit rund 39 Token pro Sekunde auf einem Notebook mit RTX 4060 und 8 GB VRAM, DeepSeek-V4-Flash mit 284 Milliarden Parametern auf einem Desktop mit RTX 5090 und GLM-5.2 mit 753 Milliarden Parametern auf einer einzelnen Workstation-GPU. Gegenueber vergleichbaren MoE-Aufbauten beziffert er den Vorsprung auf das Drei- bis Vierfache beim Decoding und das Sechs- bis Dreissigfache beim Prefill.
Unterstuetzt werden demnach NVIDIA-Karten der Serien RTX 30, 40 und 50 unter Linux und Windows. Ein Kommandozeilenwerkzeug und ein Desktop-Client stehen ueber die Projektseite und ein GitHub-Repository bereit.
Einordnung gegenueber bestehenden Werkzeugen
Ollama und llama.cpp fehlt laut InfoQ die dynamische Lastteilung fuer duenn besetzte Experten zwischen Host und Geraet. vLLM und SGLang zielen auf Rechenzentren und setzen schnelle Verbindungen voraus. KTransformers arbeitet mit festen Offloading-Regeln, waehrend FreeToken den Schnitt pro Layer neu berechnet.
Was offen bleibt
Zu dieser Meldung lag nur eine einzige unabhaengige Redaktion vor. Die Leistungsangaben stammen aus dem Projekt selbst und wurden dort nicht nachgemessen, ein zweiter Beleg fehlt. Welche konkrete Open-Source-Lizenz fuer den Code gilt und wie die Testaufbauten hinter den Zahlen aussehen, ist aus der vorliegenden Quelle nicht belegbar.
In der von InfoQ zitierten Community-Diskussion wurde ausserdem gefragt, wie sich die theoretischen Rechnungen zu realer CPU-Dispatch-Latenz und zu Speicherkonkurrenz verhalten. Diese Frage ist bislang offen. Bis unabhaengige Messungen vorliegen, sind die Zahlen Herstellerangaben und keine geprueften Werte.
Häufige Fragen
Was ist FreeToken?
Eine quelloffene Inferenz-Engine fuer Mixture-of-Experts-Modelle, die CPU und GPU eines einzelnen Rechners gemeinsam nutzt, statt das Modell komplett in den VRAM laden zu muessen.
Welche Hardware brauche ich fuer FreeToken?
Laut InfoQ NVIDIA-Karten der Serien RTX 30, 40 oder 50 unter Linux oder Windows. Der kleinste genannte Aufbau ist ein Notebook mit RTX 4060 und 8 GB VRAM.
Wie schnell laeuft ein grosses MoE-Modell damit wirklich?
Genannt werden rund 39 Token pro Sekunde fuer Qwen 3.6-35B auf der 8-GB-Karte. Diese Angabe stammt aus dem Projekt und ist von unabhaengiger Seite noch nicht nachgemessen.
