Unsloth Desktop – Open-Source-App für lokales LLM-Training im Test

Unsloth Desktop verspricht, KI-Modelle auf lokaler Hardware auszuführen und zu trainieren. Wir haben getestet, wie die Anwendung dabei performt.Foundry



Large Language Models (LLMs) lokal auf der eigenen Hardware auszuführen ermöglichen inzwischen mehrere Projekte. Zum Beispiel LM Studio.



Eine relativ neue Möglichkeit dazu bietet auch die quelloffene Anwendung Unsloth Desktop, die derzeit in der Beta-Version unter der Apache-Lizenz kostenlos zum Download zur Verfügung steht (für Windows, macOS und Linux).



Unsloth Desktop soll allerdings mehr leisten, als nur KI-Modelle lokal zu hosten: Die Anwendung kann auch als Workbench genutzt werden, um Modelle zu trainieren und soll sich sowohl für Standard-Chats als auch für die Bildgenerierung eignen.



Im Gegensatz zu LM Studio läuft Unsloth Desktop dabei nicht als Desktop-Anwendung im gewohnten Fenstermodus. Beim ersten Start öffnet sich zunächst eine Konsole (praktisch fürs Debugging) und im Anschluss ein Browser-Tab, das eine grafische Benutzeroberfläche bereitstellt.



Während interne Aktualisierungen (etwa für llama.cpp oder andere Support-Bibliotheken) automatisch innerhalb des Programms abgewickelt werden, erfordern vollständige Updates, einen Befehl in der Konsole auszuführen. Das gestaltet es im Vergleich zu einer klassischen Desktop-Anwendung etwas umständlicher, mit Unsloth Desktop zu arbeiten.



Worin sich Unsloth Desktop nicht von anderen „Local-First“-Anwendungen unterscheidet, ist der kuratierte Modellkatalog (Model Hub). Die hier aufgelisteten LLMs lassen sich nach Fähigkeiten, Formaten oder danach sortieren, wie gut sie auf dem jeweiligen System laufen.



Darüber hinaus bietet Unsloth Desktop auch eine kuratierte Liste von Datensätzen, die Anwender für ihr eigenes Modelltraining nutzen können.



Unsloth Desktop im Test – Projekte, Workflows & Modelltraining



Mit Unsloth Desktop können Sie ad hoc Konversationen mit einem bestimmten KI-Modell beginnen und dabei auch Dateien oder andere Kontextinformationen einbeziehen.



Für eine umfassendere Organisation ist es außerdem möglich, ein neues Projekt aufzusetzen. Dieses kann auch Dateien oder verknüpfte lokale Ordner enthalten, die den Kontext für das Projekt liefern.



Eine Funktion die ein Alleinstellungsmerkmal von Unsloth Desktop darstellt, nennt sich „Data Recipes“. Diese bieten eine Möglichkeit, grafische Workflows zu erstellen, die Daten aus verschiedenen Quellen mehrstufig verarbeiten.



Die vorgefertigten Daten-Rezepte decken dabei Tasks ab wie die OCR-Dokumentenextraktion und können über das Crawling von GitHub Issues auch Trainingsdaten ableiten. Darüber hinaus sind Anwender damit auch in der Lage, eigene Data Recipes zu erstellen.






Ein Beispiel für einen Workflow auf Grundlage eines „Data Recipe“. Die GUI wird – ähnlich wie bei ComfyUI – genutzt, um Aktionsblöcke miteinander zu verbinden.Foundry



Wenn Sie ein Modell laden, bietet Unsloth Desktop im Vergleich zu LM Studio relativ überschaubare Konfigurationsmöglichkeiten, beziehungsweise Optionen, die keine sind.



So wird etwa für das Token-Fenster ein Schieberegler angezeigt. Die Anzahl der Modell-Layer, die der GPU übergeben werden sollen, wird allerdings standardmäßig automatisiert geregelt.



Die Standard-Kontextlänge von 4.096 ist dabei deutlich zu gering für fortlaufende Chatbot-Konversationen. Es ist deshalb zu empfehlen, diesen Wert bei Unsloth Desktop mindestens zu verdoppeln.



Was die KI-Chats angeht, bietet die Open-Source-Anwendung den üblichen Dialog auf Prompt-Basis im Frage-Antwort-Stil. Davon abgesehen, gibt es bei Unsloth Desktop auch spezielle Interfaces, um Still-Bilder, Videos aus Prompts und Text aus Sprache zu generieren.



Diese Schnittstellen sind bereits mit einer Auswahl von Modellen vorkonfiguriert. Wenn Sie ein Modell wählen, das nicht installiert ist, lädt Unsloth Desktop dieses für Sie herunter – allerdings ohne Fortschrittsanzeige (mehr dazu später).



Auch die Tool-Calling-Mechanismen in Unsloth Desktop weisen einige interessante Funktionen auf.




„Auto Healing Tool Call“ soll etwa sicherstellen, dass der Inferenz-Output korrekt ist, während  



die Funktion „Nudge Tool Calls“ dafür zuständig ist, dass die Aufrufe erneut ausgeführt werden, falls erstgenannte Funktion nicht funktioniert.




Allerdings ist leider keine der beiden Funktionen gut dokumentiert oder erklärt. Es ist unklar, wie sie ihre vorgesehenen Aufgaben erfüllen.



Im Rahmen unseres Tests haben wir aber ermittelt, dass sowohl die „Thinking“- als auch die Tool-Calling-Fähigkeiten von Unsloth Desktop gut funktionieren, wenn diese beiden Funktionen aktiviert sind.



Eine wirklich herausragende Funktion von Unsloth Desktop sind die Tools, die es bereitstellt, um Modelle zu trainieren. Dazu ist es nämlich nicht nötig, mehrere Kommandozeilen-Tools zusammenzuflicken. Stattdessen können Anwender neue KI-Modelle direkt in der GUI von Unsloth Desktop trainieren und nutzen.






Einblicke in das Modelltraining mit Unsloth Desktop.Foundry



Insbesondere um Image-Generation-Modelle zu erstellen, bietet Unsloth Desktop einige praktische Funktionen. So erfordert es lediglich eine Reihe von Bildern mit Daten-Annotationen, um ein neues Image-Modell zu trainieren.



Sowohl die Bilder als auch die Annotationen lassen sich dabei direkt in der Benutzeroberfläche zusammenstellen. Auch hier wird das Training über die GUI gestartet. Während des Prozesses können Anwender zudem Live-Statistiken einsehen. Dieser All-in-One-Ansatz ist wirklich überzeugend.



Unsloth Desktop – unser Testfazit



Der wesentliche Nachteil von Unsloth Desktop ist seine derzeit lückenhafte und uneinheitliche Dokumentation. In dieser wird beispielsweise erwähnt, dass es möglich ist, eigene Image-Trainingsessions durchzuführen – Details dazu werden jedoch nicht genannt. Im Test mussten wir deshalb erst einige Versuche in Eigenregie starten, um das richtig zum Laufen zu bringen.  



Außerdem sind uns im Rahmen unseres Hands-on auch verschiedene irritierende Verhaltensweisen aufgefallen, die wir erst durch Reverse Engineering umgehen konnten. Als wir beispielsweise versuchen wollten, ein Image-Modell auf Basis der SDXL-Modellfamilie zu trainieren, stürzte das System mit einer kryptischen Fehlermeldung ab.



Nachträglich haben wir dann festgestellt, dass Unsloth Desktop dazu im Kontext eines MSVC-Entwickler-Prompts gestartet werden muss. Auch das ist leider nirgendwo dokumentiert.



Auch die Benutzeroberfläche selbst erwies sich im Test manchmal als verwirrend. So wird bei der Modellauswahl nicht klar, ob ein Klick auf den Namen des LLMs dieses herunterlädt oder eine Liste mit den verfügbaren Quantisierungsoptionen aufgerufen wird. Das führte im Test zu versehentlichen Modell-Downloads.



Und dann gibt es da noch das Problem mit dem nicht-existenten, visuellen Feedback: Wenn ein bestimmtes Basismodell für das LoRA-Training nicht vorhanden ist, lädt Unsloth Desktop dieses zwar herunter. Als Anwender hat man aber keinerlei Möglichkeit zu überprüfen, wie lange das dauern wird – oder ob es überhaupt geschieht. Alles was Unsloth Desktop dazu an Infos liefert, ist der statische Hinweis „Loading Model…“.



Aus den genannten Gründen bietet LM Studio nach wie vor die übersichtlichste, bequemste und stimmigste Desktop-Benutzeroberfläche, um mit bestehenden KI-Modellen zu arbeiten. Dennoch hat Unsloth Desktop seinen Reiz: Es bietet eine ähnliche Art von Workspace, um KI-Modelle zu trainieren oder Multi-Step-Workflows zu entwickeln.



Wenn jetzt noch die Lücken in der Dokumentation geschlossen werden und die Benutzeroberfläche bereinigt wird, ist Unsloth Desktop eine echte Option. (fm)



Dieser Artikel ist im Original bei unserer Schwesterpublikation Infoworld.com erschienen.