LinkedIn trainiert KI-Jobsuche achtfach schneller
Zwei Lehrermodelle mit 8B und 1,7B Parametern bringen einem Schülermodell mit 0,6B bei, Stellenanzeigen zu sortieren – live im US-Produktivbetrieb.
Kurz gesagt
LinkedIn hat die Trainingszeit für das Ranking-Modell seiner KI-Jobsuche nach eigenen Angaben um rund das Achtfache verkürzt, indem zwei unterschiedlich spezialisierte Lehrermodelle gemeinsam ein kompaktes 0,6B-Modell anlernen.
Auf einen Blick
- Schülermodell mit 0,6B Parametern; Lehrer: Relevanz-Orakel mit 8B und Engagement-Lehrer mit 1,7B.
- Training rund 8-mal schneller: lokale Lehrer-Repliken 3x, Multi-Node-Training bis zu 3,5x zusätzlich.
- FSDP2 bringt rund 20 %, H200-Cluster über mehrere Knoten bis zu 30 %; LiGer erlaubt doppelt so große Batches.
- NDCG@10 laut LinkedIn +24,48 %: von 0,7583 auf 0,9432, als Offline-Messung ausgewiesen.
- Ranking-Durchsatz: von rund 290 auf über 2.000 Einträge pro Sekunde und GPU; live für US-Nutzer.
LinkedIn hat die Trainingszeit für das Ranking-Modell hinter seiner KI-gestützten Jobsuche nach eigener Darstellung um rund das Achtfache verkürzt. Möglich macht das ein Aufbau, in dem zwei spezialisierte Lehrermodelle ein deutlich kleineres Schülermodell anlernen. Dieses Schülermodell sortiert laut dem Bericht bereits im Produktivbetrieb die Treffer für Nutzerinnen und Nutzer in den USA.
Zwei Lehrer, ein kompakter Schüler
Der produktive Rangordner ist ein Modell mit 0,6 Milliarden Parametern (0,6B). Angelernt wird es von zwei größeren Modellen mit verschiedenen Aufgaben: einem Relevanz-Orakel mit 8B Parametern, das beurteilt, wie gut eine Stelle zur Anfrage passt, und einem Engagement-Lehrer mit 1,7B Parametern, der Signale aus dem Nutzungsverhalten abbildet.
Die Distillation läuft in zwei Spielarten. Online rechnen die Lehrermodelle während des Trainings mit; offline werden ihre zwischengespeicherten Ausgaben verwendet, sobald sich deren Urteile stabilisiert haben. Die Offline-Variante senkt den Aufwand für das Bereitstellen der Lehrer. Als Unterbau nennt LinkedIn die quelloffene Serving-Engine SGLang.
Woraus sich die achtfache Beschleunigung zusammensetzt
Der Faktor 8 ist kein Einzeleffekt, sondern die Summe mehrerer Eingriffe. Lehrer-Repliken direkt neben dem Training bringen demnach den Faktor 3, verteiltes Training über mehrere Knoten bis zu 3,5-fach zusätzlich. FSDP2 steuert rund 20 % bei, H200-Cluster über mehrere Knoten bis zu 30 %.
Auf der Speicherseite erlaubt LiGer doppelt so große Batches. Nicht jeder Griff in den Werkzeugkasten zahlte sich aus: FP8-Mischpräzision brachte bei Modellen unterhalb von 8B Parametern keinen Vorteil.
Was sich in der Suche ändert
Für die Suchqualität nennt LinkedIn einen Anstieg von NDCG@10 um 24,48 % – von 0,7583 auf 0,9432. Die Kennzahl misst, wie gut die obersten zehn Treffer sortiert sind; eine 1,0 wäre die perfekte Reihenfolge. Auf der Auslieferungsseite steigerten strukturiertes Pruning und Kontextkompression den Durchsatz von rund 290 auf über 2.000 Einträge pro Sekunde und GPU.
Was der Bericht offenlässt
Eine Ausgangsbasis, gegen die der Faktor 8 gemessen wurde, wird nicht genannt. Die NDCG-Werte sind als Offline-Messung beschrieben, Ergebnisse aus einem Live-A/B-Test weist der Bericht nicht aus. Auch konkrete Zahlen zur Kostenersparnis fehlen. Alle Angaben stammen aus LinkedIns eigener Darstellung, wiedergegeben von InfoQ; eine unabhängige Überprüfung der Messwerte liegt uns nicht vor.
Häufige Fragen
Wie groß ist das Modell hinter LinkedIns KI-Jobsuche?
Der produktive Rangordner hat 0,6 Milliarden Parameter. Angelernt wurde er von einem Relevanz-Orakel mit 8B und einem Engagement-Lehrer mit 1,7B Parametern.
Was ist Multi-Teacher-Distillation?
Mehrere große Modelle geben ihre Bewertungen an ein kleines Modell weiter, das daraus lernt. Bei LinkedIn deckt ein Lehrer die Passgenauigkeit ab, der zweite das Nutzungsverhalten.
Wie stark hat sich die Trefferqualität verbessert?
LinkedIn gibt NDCG@10 mit einem Plus von 24,48 % an, von 0,7583 auf 0,9432. Der Wert ist als Offline-Messung ausgewiesen, nicht als Ergebnis eines Live-A/B-Tests.
