Visual Studio Code mit lokalem LLM nutzen – so geht‘s

width="1024" height="719" sizes="auto, (max-width: 1024px) 100vw, 1024px">Eine Unterhaltung mit einem lokalen KI-Modell in Visual Studio Code. Dieser Artikel vermittelt, wie das geht.Foundry



Microsoft hat sich intensiv darum bemüht, Visual Studio Code zu einer bedeutenden Plattform auszubauen, mit der die hauseigenen KI-Services genutzt werden können – insbesondere in Form von GitHub Copilot. Diese tiefe Integration von GitHub Copilot in VS Code bietet diverse Annehmlichkeiten, beispielsweise Inline-Autovervollständigung. Für alle, die diese Funktionen lieber mit einem Modell eines anderen Anbieters oder gar ein lokal gehostetes LLM nutzen möchten, war das hingegen frustrierend.



Bis jetzt. Denn mit Visual Studio Code 1.122 wurde eine neue Funktion eingeführt: Der Bring-your-own-Key (BYOK) -Modus ohne GitHub-Anmeldung ermöglicht es den Benutzern laut Microsoft, Chat, Tools und MCP-Server in isolierten oder eingeschränkten Umgebungen zu nutzen, in denen eine GitHub-Anmeldung nicht möglich ist. Noch wichtiger ist allerdings, dass diese Funktion auch vollumfängliche Offline-Workflows mit lokalen Modellen wie Ollama ermöglichen soll.



Ein Modell für den BYOK-Modus in VS Code wählen



Wenn Sie ein lokales LLM mit dem BYOK-Modus von VS Code nutzen möchten, brauchen Sie zunächst eine Möglichkeit, das Modell zu hosten. Zu diesem Zweck verfügt VS Code selbst bislang nicht über einen Mechanismus. Es ist jedoch denkbar, dass diese Funktion künftig über eine Erweiterung angeboten wird. Andererseits ist es eine komplexe Aufgabe, Modelle zu hosten – insofern macht eine spezielle Anwendung zu diesem Zweck Sinn.



Eine simple Möglichkeit, Modelle zu hosten und LLMs auf der eigenen Hardware über eine grafische Benutzeroberfläche einzurichten, bereitzustellen und zu managen bietet etwa LM Studio. Das bietet auch den Vorteil, dass der Modell-Host nicht unbedingt dasselbe System sein muss, auf dem Sie VS Code ausführen. Er kann sich auf einem Server befinden, den Sie kontrollieren, oder auf einer Cloud-Instanz.



Auch die Wahl des Modells ist wichtig. Viele Modelle sind zwar performant, laufen aber auf handelsüblicher Hardware nicht gut, weil sie einfach zu groß sind. Eine gute Faustregel: Wählen Sie ein Modell, das in den vorhandenen VRAM passt – inklusive des Speichers, der für einen umfangreichen Token-Kontext nötig ist. Zudem sollte das Modell für Programmier- und Entwicklungsarbeiten geeignet sein. Modelle, die problemlos in 8 GB VRAM passen, sind etwa:




Gemma-4-e2B



Qwen3.5 9B



Codestral 22B v.0.1 (proprietäre Lizenz)




BYOK-Modus in Visual Studio Code einrichten



Sobald Ihr Modell einsatzbereit ist, können Sie es in Visual Studio Code integrieren. Falls Sie die KI-Funktionen von VS Code deaktiviert haben, müssen Sie diese wieder aktivieren. Stellen Sie sicher, dass das Setting chat.disableAIFeatures deaktiviert ist.



Sprachmodelle von Drittanbietern werden über die LLM-Liste von Visual Studio Code verwaltet. Um diese aufzurufen, nutzen Sie die Tastenkombination Strg+Shift+P und geben im nachfolgenden Fenster Manage Language Models ein.


In der Modell-Liste von VS Code sind per Default lediglich Modelle sichtbar, die über externe APIs zugänglich sind.Foundry



Zunächst wird eine Liste der integrierten Modelle angezeigt, die alle extern gehostet werden. Um ein neues Modell hinzuzufügen, klicken Sie auf die entsprechende Schaltfläche rechts oben und wählen Sie anschließend Custom Endpoint. Anschließend wird eine Reihe von Prompts angezeigt:




Group Name: Standardmäßig lautet dieser „Custom Endpoint“, Sie können jedoch einen beliebigen Namen wählen. Dieser dient ausschließlich dazu, die Modellliste zu organisieren und hat keinen Einfluss auf Aspekte wie die Modellerkennung oder die Konnektivität.



API Key: Wenn Sie LM Studio so konfiguriert haben, dass ein API-Schlüssel für die Bereitstellung von Modellen verwendet wird, geben Sie diesen hier an. Falls Sie das Modell lokal hosten und API-Schlüssel nicht explizit eingerichtet haben, können Sie dieses Feld leer lassen.



API Type: Die Optionen hier sind Chat Completions, Responses und Messages. In den meisten Fällen werden Sie zweitgenanntes als universellste Option der drei genannten verwenden wollen.




Sobald Sie diese Angaben gemacht haben, gelangen Sie zu einem modalen Editor für eine JSON-Datei, die die Details zum Endpunkt enthält, den Sie gerade konfigurieren.


Ein neu erstellter Custom Endpoint für ein lokal gehostetes Modell – der noch einige Angaben braucht.Foundry



Hier müssen Sie einige weitere Felder ausfüllen:




id ist ein Textfeld, das einen bestimmten Eintrag eindeutig identifiziert. Die Wahl der ID ist weitgehend beliebig – wenn Sie nur ein einziges Modell verwenden, könnte die ID auch der Modellname sein.



name ist der Name des Modells über den es auf dem Modellserver identifiziert wird. In LM Studio können Sie diesen Namen abrufen, indem Sie im Haupt-Interface My Models anklicken, anschließend das Drei-Punkte-Symbol für das betreffende Modell auswählen und dann auf Copy Default Identifier klicken. Im Fall von Qwen 2.5 könnte dieses Feld etwa befüllt werden mit qwen2.5-coder-7b-instruct.



url bildet die Adresse zum Endpunkt des Servers ab. In LM Studio lautet diese standardmäßig etwa http://127.0.0.1:1234/v1. Das /v1 am Ende ist dabei wichtig, da dieser Endpunkt für die automatische Erkennung von Modellen und deren Funktionen verwendet wird.




Die übrigen Felder müssen in der Regel nicht bearbeitet werden. Die meisten Modelle verfügen über Tool-Calling-Funktionalitäten. Wenn Sie sicher wissen, dass das von Ihnen verwendete Modell keinen Vision Support bietet, setzen Sie vision auf false.



Sobald diese Schritte erledigt sind, können Sie den modalen Editor schließen, um die Änderungen zu speichern. Nun müssten Sie den neu eingerichteten Endpunkt in der Manage Language Models-Übersicht auch sehen können (nach einem Reload):


Der neu erstellte, lokale Endpunkt.Foundry



Anschließend können Sie das Chat-Fenster öffnen und das definierte Modell für Konversationen und Utilities nutzen. Eine wesentliche Einschränkung der BYOK-Funktionalität von Visual Studio Code besteht (derzeit noch) darin, dass es nicht möglich ist, ein lokales Modell für Inline-Vorschläge oder Code-Vervollständigungen zu verwenden. Die einzige Möglichkeit, mit lokalen Modellen auf die erweiterten Funktionen von Visual Studio Code zuzugreifen, führt über Drittanbieter-Tools wie Continue.



Ob Microsoft diese Limitation irgendwann beseitigen wird, ist unklar. Vorerst können Sie für einen Großteil Ihrer KI-gestützten Entwicklungsarbeit in VS Code jedoch durchaus auch Modelle von Drittanbietern und lokale Modelle nutzen – und die Funktionslücken mit zusätzlichen Tools schließen. (fm)



Dieser Artikel ist im Original bei unserer Schwesterpublikation Infoworld.com erschienen.