25 Fragen, die zum richtigen LLM führen

IT-Manager am LLM-Scheideweg: Unser Fragenkatalog kann Sie auf den richtigen Entscheidungspfad führen.Rob Schultz / Shutterstock



Autohändler prüfen die Technik, Pferdehändler untersuchen die Zähne ihres Handelsguts. Wer hingegen Large Language Models (LLMs) „einkaufen“ will, der sollte vor allem die richtigen Fragen stellen. Und zwar vor der endgültigen Entscheidung für ein spezifisches KI-Modell. Schließlich decken die Fähigkeiten der verfügbaren LLMs ein breites Spektrum ab – das nicht für jeden Anwendungsfall nötig oder geeignet ist. Der folgende Fragenkatalog unterstützt Sie dabei, das richtige Large Language Model für Ihren Task zu ermitteln.



Wie groß ist das Modell?



Die Anzahl seiner Parameter gibt einen groben Anhaltspunkt dafür, wie viele Informationen bereits im Modell kodiert sind. Für manche Aufgaben sind allerdings keine größeren Modelle erforderlich: Eventuell fließen Informationen aus einer RAG-Datenbank ein. Oder die gestellten Fragen sind simpler. Wenn Sie ungefähr abschätzen können, welche Fragen gestellt werden, sollten Sie das kleinste Modell wählen, das in der Lage ist, diese zu beantworten.



Passt das Modell zur Hardware?



Anwender, die eigene Modelle hosten, sollten im Blick haben, wie gut diese für die vorhandene Hardware geeignet ist. Nachträglich mehr RAM oder GPUs zu beschaffen, ist immer mühsam und in einigen Fällen nicht möglich. Wenn das LLM nicht zur Hardware passt oder nicht reibungslos läuft, sollte es auch nicht als Lösung in Betracht kommen.



Wie fällt die TTFT aus?



Es gibt mehrere Möglichkeiten, die Geschwindigkeit eines LLM zu messen. Die „Time to first Token“ (TTFT) ist dabei besonders wichtig für interaktive Echtzeitanwendungen. Läuft das LLM hingegen nur im Hintergrund oder als Batch-Job, ist dieser Wert weniger wichtig.



Gibt es Rate Limits?



Sämtliche Kombinationen aus KI-Modellen und Hardware weisen eine „Geschwindigkeitsbegrenzung“ auf. Anwender, die die Hardware selbst bereitstellen, können die maximale Auslastung durch Testing ermitteln. Im Fall einer API wird deren Anbieter wahrscheinlich über Rate Limits definieren, wie viele Token er verarbeiten kann. Falls es nicht genug sind, fallen entweder mehr Investitionen in Hardware an – oder der Wechsel zu einem anderen Anbieter.



Wie groß ist das Kontextfenster?



Um etwa eine weitläufige Code-Basis zu refaktorieren, müssen Millionen von Tokens in das LLM eingespeist werden. Ein kleineres Modell mit einem begrenzten Kontextfenster reicht hier nicht aus. Wenn Ihr Problem in einen kürzeren Prompt „passt“, kommen Sie hingegen mit einem kleineren Kontextfenster und damit auch einem simpleren LLM aus.



Stehen Speed und Reasoning im Einklang?



Die Entwickler von LLMs können verschiedene „Stages“ hinzufügen, die das Modell nutzen kann, um auf einer Metaebene über das Problem „nachzudenken“. Das wird oft als „Logik“ betrachtet. Allerdings bedeutet es eigentlich nur, dass das LLM eine Vielzahl verschiedener Ansätze durchläuft, bis der am besten passendste gefunden ist. In der Praxis wird zwischen Logik und Geschwindigkeit ein Kompromiss gefunden: Mehr Iterationen bedeuten langsamere Antworten. Ob sich diese „Logik“ lohnt, hängt ganz vom jeweiligen Problem ab.



Wie stabil läuft das LLM?



Manche Modelle scheitern eher als andere an bestimmten Prompts und geraten in einen Statistik-getriebenen Wahnsinn, der in Zufalls-Outputs, beziehungsweise Kauderwelsch resultiert. Besonders unglücklich ist es, dass Instabilitäten wie diese auch zu willkürlichen Zeitpunkten auftreten können – selbst wenn das LLM bereits in der Produktion läuft.



Wann endet das Modellwissen?



Der sogenannte „Knowledge Cutoff“ beschreibt, zu welchem Zeitpunkt das über Trainingsdatensätze antrainierte „Wissen“ endet. Anwender, die sich auf die im LLM verankerten, allgemeinen Fakten verlassen wollen, sollten auch wissen, wie, respektive ob diese aktuell sind. Das ist allerdings nicht für jedes Projekt relevant, schließlich lassen sich über RAG-Systeme oder Vektordatenbanken weitere Details ergänzen.



Gibt es die Möglichkeit, nachzutrainieren?



Einige LLM-Anbieter unterstützen auch nachträgliches KI-Training – in der Regel unter Einsatz domänenspezifischer Datensätze der Anwender. Diese Feinabstimmung ermöglicht es, einem Foundation-Modell weitere Details für bestimmte Workflows oder Datenverarbeitungsaufgaben „beizubringen“. Das ist oft auch deutlich kostengünstiger und schneller, als von Grund auf ein neues Modell zu entwickeln.



Welche Medientypen werden vom LLM unterstützt?



Einige LLMs geben ausschließlich Text zurück, andere nur Bilder. Gleiches gilt für den Input: Manche Modelle können nur Prompts in Textform verarbeiten, andere Bilddateien, Diagramme oder PDFs analysieren. Sie sollten unbedingt sicherstellen, dass das KI-Modell Ihrer Wahl auch Dateiformate lesen und verarbeiten kann, die für Sie relevant sind.



Wie sieht die Prompting-Struktur aus?



Die Struktur des Prompts kann bei vielen LLMs den entscheidenden Unterschied machen: Einige Modelle legen besonderen Wert auf die Instruktionen im System-Prompt, andere gehen mit einem interaktiveren, „sokratischen“ Prompt-Stil einher, bei dem sich Benutzer und LLM auf eine Antwort „einigen“. Dabei sollten Sie im Hinterkopf behalten, dass der beste Weg zu iterativem, agentischen „Denken“ weiterhin aktiv erforscht wird.



Ist das Modell quelloffen?



Einige LLMs sind mit Open-Source-Lizenzen ausgestattet, die ähnliche Freiheiten bieten wie quelloffene Software. Speziell bei Projekten, die in kontrollierten Umgebungen laufen, bietet das einen Weg, etwaige Online-Services zu umgehen. Manche Nutzer möchten ihre LLMs auch in Eigenregie feinabstimmen. Auch dazu empfehlen sich Open-Source-Modelle, denn sie bieten Zugriff auf die Model Weights.



Gibt es eine garantierte Lebensdauer?



Handelt es sich nicht um ein Open-Source-LLM, können die Betreiber dieses jederzeit abschalten. Deshalb bieten einige Services eine garantierte Lebensdauer über einen definierten Zeitraum. So haben die Anwender die Sicherheit, dass ihnen nicht kurz nach der Modellintegration der Boden, respektive die Infrastruktur unter den Füßen weggezogen wird.



Verfügt das Modell über eine Batch-Architektur?



Wird die Antwort des Modells nicht in Echtzeit benötigt, können einige LLMs ihre Inputs zeitversetzt in Form von Batches verarbeiten. Für diese Option bieten diverse Anbieter großzügige Rabatte. Einige Inferenz-Engines bieten zudem kontinuierliches Batching mit Techniken wie PagedAttention. Diese Techniken können die Kosten senken, indem sie den Durchsatz der Hardware steigern.



Wie hoch sind die Kosten für das LLM?



In manchen Situationen ist der Preis entscheidend, insbesondere wenn bestimmte Aufgaben oft wiederholt werden. Auch wenn die Kosten für eine einzelne Antwort nur Bruchteile eines Cent betragen: Das summiert sich, versprochen. Geht es um Big Data, empfiehlt es sich also weniger, am KI-Modell zu sparen.



Wurde das Modell mit synthetischen Daten trainiert?



Manche LLMs werden mit synthetischen Daten trainiert, die von anderen Modellen erzeugt wurden. Das kann gutgehen – oder auch nicht. Ist Letzteres der Fall, kann ein LLM erheblich an Genauigkeit einbüßen. Das kann man vergleichen mit Kopien von Kopien: Je öfter diese kopiert werden, desto mehr Details gehen verloren.



Steht der Trainingsdatensatz unter Copyright?



Einige LLM-Entwickler haben beim Aufbau ihres Trainingsdatensatzes „Shortcuts“ genutzt und urheberrechtlich geschützte Inhalte einbezogen. Diesbezüglich sind aktuell immer noch diverse Klagen anhängig. Sollten Ihre Anwendungsfälle dazu geeignet sein, Output zu liefern, der urheberrechtlich geschützte Inhalte enthält, sollten Sie sich Gewissheit darüber verschaffen, nach welchen Kriterien die Trainingsdaten erstellt wurden.



Gibt es einen Provenance Audit?



Einige LLM-Anbieter lassen ihre Trainingsdaten wegen synthetischer Daten und Urheberrechtsfragen von Dritten auditieren. Das kann Bedenken hinsichtlich Rechtsverletzungen oder unzureichender Daten ausräumen.



Bietet das Modell eine Haftungsfreistellung?



Die genannten Risiken lassen sich auch durch eine vertraglich festgehaltene Haftungsfreistellung minimieren, die ebenfalls bei einigen LLM-Anbietern zur Verfügung steht.



Wie hoch ist der Umwelt-Impact?



Wie viel Strom und Wasser für die Output-Generierung anfallen, wird heute zunehmend wichtiger. Einige Services bieten diesbezüglich Schätzungen an – und hoffen, dass diese sich von Konkurrenzdiensten abheben. Im Allgemeinen ist der Preis kein schlechter Indikator für die Umweltauswirkungen. Schließlich gehören sowohl Strom als auch Wasser oft zu den größten Kostenfaktoren.



Welche Rolle spielen erneuerbare Energien?



Einige LLM-Anbieter kooperieren direkt mit Anbietern erneuerbarer Energien. Sie versprechen, dass die für Outputs aufgewendete Energie beispielsweise aus Solar- oder Windparks stammt. In einigen Fällen bieten sie auch Batch-Dienste an, die die Abfragen in eine Warteschlange stellen, bis erneuerbare Energiequellen verfügbar sind.



Wie steht es um die Compliance?



Entwickler, die in stark regulierten Umgebungen tätig sind, sollten sich Gedanken über den Zugriff auf ihre Daten machen. Dabei gilt es zu prüfen, wie Regulierungen wie die DSGVO, SOC2 oder HIPAA sich auf die LLM-Nutzung auswirken. In vielen Fällen ist es nötig, das Modell in einer kontrollierten Umgebung auszuführen. In manchen Fällen ist das Problem komplexer: Nämlich dann, wenn Regulierungen „Transparenz“ bei bestimmten Entscheidungen verlangen. Soll heißen: Das KI-Modell muss „erklären“ können, wie es zu seiner Schlussfolgerung gelangt ist.



Wo läuft das LLM?



Die DSGVO verlangt, dass personenbezogene Daten von Europäern in Europa verbleiben. Wenn das für Ihren Anwendungsfall relevant ist, kann der physische Standort des LLM von Bedeutung sein. Um Compliance zu gewährleisten, bieten einige Provider regionale Bereitstellungen an.



Handelt es sich um ein “Human in the Loop”-Modell?



In einigen LLMs sind explizit „Stellen“ im Reasoning-Prozess für Menschen vorgesehen. Diese „Human in the Loop“-Lösungen sollen sicherstellen, dass KI-Modelle keine fehlerhaften oder gefährlichen Outputs liefern. Die beste architektonische Struktur für diese Hooks zu finden, kann diffizil sein. Wenn diese zu oft ausgelöst werden, verursachen sie jede Menge Arbeit.



Bietet das LLM Tool-Support?



Einige LLMs ermöglichen es, externe Funktionen zu nutzen. Etwa Internetsuchen oder Datenbankabfragen. Das kann bei zahlreichen Problemen hilfreich sein. Die Zahl der zur Verfügung stehenden Tools und Schnittstellen, die APIs wie Model Context Protocol (MCP) verwenden, wächst beständig. Es lohnt sich, mit diesen zu experimentieren, um zu ermitteln, wie stabil sie sind. (fm)