None

heise+ | Speculative Decoding: Wie Multi-Token Prediction LLMs beschleunigt

Spekulative Decoding-Verfahren beschleunigen die Tokenvorhersage. Multi-Token Prediction nutzt schnelle kleine Modelle und trennt Vorhersage von Verifikation.