Bonsai 27B im Test – so performt das 1-Bit-LLM

Bonsai 27B generiert eine Bildunterschrift. In unserem Test lesen Sie, ob sich das KI-Modell auch ansonsten durch qualitative hochwertige Outputs auszeichnet.Foundry



Mit Bonsai 27B hat der KI-Anbieter PrismML das neue multimodale Flaggschiff seiner Modellfamilie unter der Open-Source-Lizenz Apache 2.0 veröffentlicht. Das Large Language Model (LLM) lässt sich zudem auch direkt über den Browser ausführen.  



Das sei ein großer Sprung, weil Modelle mit dieser Parameterzahl bislang ungefähr 54 GB groß waren und damit zu mächtig für Smartphones und auch viele Laptops, schreibt PrismML in seiner Launch-Ankündigung.



Bonsai 27B basiert auf Alibabas Qwen3.6 27B und steht in zwei unterschiedlichen Varianten zur Verfügung:




Ternary Bonsai 27B ist die 5,9 GB große, qualitätsorientierte Variante und soll auf allen gängigen Laptops laufen, während



1-bit Bonsai 27B mit einer Größe von nur 3,9 GB die Footprint-orientierte Version darstellt, die laut Prisma ML auf einem iPhone 17 Pro laufen könnte.




Trotz ihrer kompakten Größe sollen die Bonsai-27B-Modelle vollumfänglich abliefern. Sie beherrschen laut ihrer Macher mehrstufiges Reasoning, strukturierte Tool-Aufrufe, Vision-Aufgaben sowie Agentic Loops, die auch über mehrere Schritte hinweg kohärent bleiben. Dabei erlauben die Bonsai-Modelle einen Kontext von mehr als 262.000 Token und bieten Support für „Speculative Decoding“ sowie „Flash Attention“.



Wir haben die „Mini“-Variante 1-bit Bonsai 27B ausprobiert. Allerdings nicht auf einem iPhone, sondern einem Windows-Laptop.



Bonsai 27B im Test – das Setup



Zunächst zum Setup: Wir haben die 1-Bit-Variante von Bonsai 27B auf eigener Hardware getestet – und zwar mit LM Studio 0.4.20 unter Windows 11. Der Laptop, der hierfür zum Einsatz kam, verfügt über einen AMD Ryzen 5 3600 Sechskern-Prozessor, 32 GB RAM sowie eine NVIDIA GeForce RTX 5060 GPU mit 8 GB VRAM.



Auf dieser Grundlage haben wir Bonsai mit unserem Standard-Testset konfrontiert, das aus einer Reihe von Prompts besteht. Diese decken unterschiedliche Aufgabenbereiche ab:




Zwei Versionen eines Bilderkennungs-Prompts: „Erstelle eine Bildunterschrift für das angehängte Bild, die nicht mehr als drei Sätze umfasst“ sowie „Erstelle eine Bildunterschrift für das angehängte Bild, die nicht mehr als drei Sätze umfasst, ohne redaktionelle Kommentare.“



Zwei Prompts, die darauf angelegt sind, Web-Suchwerkzeuge aufzurufen, wobei ersterer eine detaillierte und letzterer eine einfache Antwort verlangt: „Wie ist der urheberrechtliche Status der Werke von Franz Kafka? Erläutere dies ausführlich“ und „Was hielt William Gibson von Blade Runner?“



Ein etwas längerer Prompt kommt im Bereich Code-Generierung und Problemlösung zum Einsatz: „Das pip-Tool von Python verfügt über eine Funktion namens ScriptMaker (abrufbar mit from pip._vendor.distlib.scripts import ScriptMaker). Unter Microsoft Windows wird diese verwendet, um einen .exe-Stub-Launcher für die Einstiegspunkte eines Python-Pakets zu erstellen, wenn dieses mit pip installiert wird. Das für diesen Stub erstellte Symbol ist jedoch dasselbe generische Symbol, das auch für die Python-Laufzeitumgebung selbst verwendet wird. Schreiben wir also ein Python-Dienstprogramm, mit dem es möglich ist, dem .exe-Stub ein eigenes, benutzerdefiniertes Symbol hinzuzufügen. Das angehängte Archiv und andere Metadaten des Stubs sollen dabei erhalten bleiben. Die Utility sollte ausschließlich die Python-Standardbibliothek verwenden und so einfach wie möglich gehalten sein.“



Und noch ein weiterer Prompt mit Coding-Bezug: „Ich habe ein Python-Programm angehängt, das Python-Apps so verpackt, dass sie mit einer eigenständigen Instanz der Python-Laufzeitumgebung ausgeführt werden können. Ein Nachteil des Programms ist, dass es nicht besonders modular aufgebaut ist. Analysiere das Programm und mache einige Vorschläge, wie sich seine Modularität verbessern lässt. So, dass es als Bibliothek mit Hooks für verschiedene, erweiterte Funktionen genutzt werden kann.“




So hat sich Bonsai 27B im Test geschlagen



Bei der Aufgabe mit den Bildunterschriften (siehe Screenshot ganz oben) konnte das KI-Modell schon einmal mit qualitativ hochwertigen Outputs überzeugen.



Weil Bonsai 27B über ein riesiges Token-Fenster (bis zu 262.144) verfügt, haben wir den Standardwert dafür auf 32.767 festgelegt – im Gegensatz zu den sonst üblichen 4.096 oder 16.384, die wir für andere Modelle verwendet haben.






Bonsai 27B verfügt über ausreichend großes Token-Fenster für komplexe, mehrstufige Aufgaben, die persistenten Speicher erfordern.Foundry



Das ermöglichte eine vollständige Kontexteinbindung – so konnten wir beispielsweise bei den Programmieraufgaben die Prompts vollständig und problemlos inklusive Code im Token-Fenster unterbringen.



Was im Rahmen des Tests deutlich wurde: Trotz seiner Kompaktheit ist Bonsai nicht das schnellste Modell. Ein Faktor, der die Geschwindigkeit in Token pro Sekunde beeinflusst, ist dabei die Anzahl der Parameter im Modell – nicht nur seine physische Größe im Speicher.



Die 27 Milliarden Parameter von Bonsai führten zu einem Token-Output, der insgesamt langsamer war als bei anderen von uns getesteten Modellen, beispielsweise Qwen-7B. Die Verzögerung betrifft dabei auch die Tokenisierung: Trotz des riesigen Token-Fensters dauerte es im Test länger als zwei Minuten, die Code-Beispiele zu tokenisieren und einzufügen.



Die maximale Output-Geschwindigkeit, die wir Bonsai 27B im Test entlocken konnten, lag bei etwa 40 Token pro Sekunde – der Durchschnittswert zwischen zehn und 20 Token pro Sekunde.



Die „Thinking“-Fähigkeiten des Modells zu deaktivieren, konnte zwar den allgemeinen Output-Speed erhöhen und die „Time to first Token“ reduzieren – das ging in einigen Fällen allerdings auf Kosten der Genauigkeit und Kohärenz. Beispielsweise im Fall der William-Gibson-Frage, die die KI völlig falsch beantwortete.



Und auch auf die Coding-Tasks hatte dieser Faktor maßgeblichen Einfluss: Die Modularitäts-Frage zu verarbeiten, dauerte mit aktiviertem „Thinking“ schon länger als sechs Minuten. Die Antwort zu generieren, nahm bei 4,1 Token pro Sekunde noch einmal zwei Minuten in Anspruch. Ohne Thinking lieferte Bonsai 27B mit 7,7 Token pro Sekunde schnellere Antworten – die auch nützlich waren.



Die größten Stärken von Bonsai – sein riesiges Token-Fenster und seine enorme Anzahl an Parametern – fordern also ihren Tribut. Lässt man die Geschwindigkeit außer Acht, schneidet Bonsai im Vergleich zu anderen Modellen mit größerem Binary-Footprint gut ab.



Der Code, den Bonsai 27B generiert hat sowie die Empfehlungen, die das Modell dazu aussprach, waren ebenso gut wie die Resultate, die Gemma 4 oder Qwen 3.5 hervorgebracht haben. Und auch wenn es manchmal etwas länger gedauert hat mit dem Output, waren die Antworten immerhin gut durchdacht.



Was uns an Bonsai 27B am meisten fasziniert, sind aber die Quantisierungstechniken, die genutzt wurden, um dieses Modell aufzubauen. Denn Bonsai 27B liefert den Beweis dafür, dass Ternary- und Binary-Modelle tatsächlich dazu in der Lage sind, (einigermaßen) schnelle und genaue Ergebnisse zu liefern – bei einem Bruchteil des ansonsten anfallenden Speicherbedarfs.



Geeignet ist die 1-Bit-Version von Bonsai 27B deshalb vorerst vor allem für all jene, denen genau das wichtiger ist als besonders schneller Output. (fm)



Dieser Artikel ist im Original bei unserer Schwesterpublikation Infoworld.com erschienen.