KI-Token erklärt

Token ist nicht gleich Token.Fauzan Fitria | shutterstock.com



Das phänomenale Wachstum, das Google in Sachen KI verzeichnen kann, bemisst sich in Token. Wie CEO Sundar Pichai auf der I/O-Konferenz preisgab, verarbeitet der Konzern inzwischen 3,2 Billiarden Token – pro Monat.



Inzwischen werden Token deshalb auch als das „neue Öl“ bezeichnet, das die KI-Revolution antreibt. Das Narrativ nehmen die Anwenderunternehmen gerne an und investieren fleißig in Token, um sich kostbare Rechenzeit zu sichern. Für die KI-Anbieter bieten Token hingegen die Möglichkeit, die Nutzung ihrer Services zu messen und diese entsprechend zu bepreisen.



Ähnlich wie beim Öl scheint auch die Nachfrage nach Token unersättlich. Das belastet das ohnehin bereits knappe Angebot an GPUs und treibt die Kosten für den Betrieb von KI-Tools weiter in die Höhe.



Token – was ist das?



Large Language Models (LLMs) erfassen die Bedeutung eines Satzes, indem sie Wörter in Token zerlegen. Google-CEO Pichai beschreibt Token als die grundlegenden Dateneinheiten, die KI-Modelle verarbeiten.



Diese Einheiten können die Form eines Wortes, eines Teilwortes oder auch einer Folge von Buchstaben, Symbolen oder Phrasen annehmen. Ebenso können zusammengesetzte Wörter in mehrere Token aufgeteilt werden: Der Prompt „I am running after a car“ könnte dazu führen, dass „run“ und „ing“ jeweils einen eigenen Token benötigen, weil letzteres die Satzbedeutung verändert.



„Im Durchschnitt entspricht ein Token etwa drei Vierteln eines Wortes – 100 Wörter ergeben also etwa 135 Token“, erklärt Deepak Seth, Senior Director Analyst bei Gartner.



Was KI-Token kosten



Nicht alle Token kosten gleich viel: Ein in ein KI-System hochgeladener Token ist günstiger, ein heruntergeladener teurer. Ein Benutzer bezahlt etwa dafür, seinen Lebenslauf in ein KI-System hochzuladen – und dann noch mehr, um die von der KI geglättete Version wieder herunterzuladen. „Die Kosten für den Download sind höher, weil die KI bereits einen Teil der Arbeit erledigt hat“, erklärt Max Leaming, Head of Data Science bei der ManpowerGroup.



Zur Anwendung kommt eine Preisgestaltung auf Basis von Token hauptsächlich für Unternehmensanwender und Power-User (etwa Developer). So wird etwa bei Anthropics Claude Code, Googles Gemini oder auch OpenAI Codex in Token abgerechnet – und auch GitHub Copilot wurde inzwischen entsprechend umgestellt.   



Die endgültige KI-Rechnung umfasst allerdings nicht nur die Token, wie Leaming aus Erfahrung weiß: „Wir zahlen die Token-Kosten an den Modellanbieter. Parallel dazu fallen dann noch die Rechenkosten – etwa für GPU-Zeit – an.“



Token effizient einsetzen



Manche KI-Modelle liefern bekanntlich bessere Antworten als andere. Das kann darüber entscheiden, wie effizient das jeweilige Token-Budget genutzt wird. Ein weiterer Faktor der diesbezüglich zu berücksichtigen ist, ist der Mensch, der die Token verbraucht, wie Gartner-Analyst Seth festhält: „Ein Programmierer verbraucht 10.000 Tokens, um seine Arbeit zu erledigen, ein anderer eventuell nur 1.000. Leider gibt es derzeit jedoch kein Tool, um die Effizienz zu erfassen.“



Das musste man auch bei der ManpowerGroup feststellen – und hat deshalb ein Dashboard entwickelt, das den Aufwand reduziert, der damit verbunden ist, Daten abzurufen. So benötigten die Nutzer eines internen KI-Arbeitsmarkt-Tools anfangs im Schnitt rund zehn Folgefragen, um eine Query zu vertiefen. Inzwischen sei dieser Wert auf vier gesunken, erklärt Leaming: „Die Benutzer verbrauchen weniger Token und sind einfach effizienter. Und das hängt zum großen Teil mit ihrer Fähigkeit zusammen, effizient zu prompten.“



Aber es gibt auch eine Kehrseite: KI-Tools wie Anthropics Claude Mythos könnten künftig astronomisch teuer werden. Ob es dann mit Blick auf die Gesamtkosten noch etwas hilft, dass das Modell dank seiner Reasoning-Fähigkeiten deutlich effizienter sein soll, bleibt abzuwarten.



Token als Lockmittel?



Die führenden KI-Anbieter investieren zwar Milliarden in den Auf- und Ausbau von KI-Infrastruktur, verlangen aber nicht genug für ihre Token – meint zumindest Gartner-Mann Seth. Dahinter vermutet er eine zweifelhafte Strategie: „Ich habe das Gefühl, dass OpenAI, Google, Anthropic und Co. einen ‘Drogendealer-Ansatz’ verfolgen: Die Leute von KI abhängig machen und dann den Preis für die Token erhöhen.“



Laut Leaming nutzen die KI-Anbieter jedoch auch kostenlose Token, um Kunden an sich zu binden: „Das kann Unternehmen dazu motivieren, Prozesse und Workflows rund um proprietäre LLMs und Agenten aufzubauen.“



Seth von Gartner vergleicht diese Taktik mit einem Zigarettenhersteller in Indien: „Zusätzlich zu ihrem Gehalt erhielten die Angestellten früher ein paar Kisten Zigaretten. Die ganze Absicht dahinter war, dass sie diese verteilen und das Produkt dadurch populärer machen.“



Passenderweise entsenden die großen Anbieter inzwischen auch eigene Teams zu ihren Kunden, um KI-Modelle vor Ort zu implementieren. Diese Experten analysieren oder erarbeiten Strategien, bauen agentenbasierte Frameworks auf, evaluieren Modelle, lösen Kontext- und Reasoning-Probleme oder beschäftigen sich mit Security-Fragen. Oder wie Leaming es ausdrückt: „Die Anbieter entfernen sich von LLMs als Produkt. Jetzt wollen sie in die Unternehmen vordringen und die Infrastruktur für diese aufbauen.“ (fm)



Dieser Artikel ist im Original bei unserer Schwesterpublikation Computerworld.com erschienen.