Dieser Inhalt wurde automatisch aus dem Ukrainischen übersetzt.
Wenn über ChatGPT und andere große Sprachmodelle gesprochen wird, taucht das Wort „Token“ ständig auf. Das Modell hat einen Kontext für eine bestimmte Anzahl von Tokens, die API zählt die eingehenden und ausgehenden Tokens, ein langes Dokument benötigt Zehntausende von Tokens, und ein zu großes Gespräch kann letztendlich nicht mehr vollständig in den Kontext passen.
Deshalb ist es leicht vorzustellen, dass ein Token einfach ein technischer Begriff für ein Wort ist. Aber das ist nicht der Fall.
Ein Token ist eine Informationseinheit, in die das System den Text zerlegt, bevor es ihn an das Sprachmodell übergibt.
Ein kurzes Wort kann manchmal ein Token sein, ein längeres mehrere, und sogar Satzzeichen, Teile von Wörtern, Zahlen und sogar Fragmente zusammen mit Leerzeichen können zu einzelnen Tokens werden.
Deshalb stimmen die Anzahl der Wörter und die Anzahl der Tokens in einem Text fast nie überein.
Warum KI überhaupt Tokens benötigt
Der Mensch sieht einen Satz:
„Künstliche Intelligenz hilft, mit Texten zu arbeiten“.
Für uns besteht er aus Wörtern und hat eine verständliche Bedeutung. Der Computer hingegen muss letztendlich mit Zahlen arbeiten.
Deshalb gibt es einen zusätzlichen Schritt zwischen menschlichem Text und dem neuronalen Netzwerk — Tokenisierung.
Ein spezielles System, das Tokenisierer genannt wird, zerlegt den Eingabetext in bestimmte Fragmente. Jedes dieser Fragmente erhält eine numerische Kennung. Diese Zahlenfolge wird dann an das Sprachmodell übergeben.
Der Prozess kann vereinfacht so dargestellt werden:
Text → Tokens → numerische IDs → Verarbeitung durch das Modell → neue Tokens → Antworttext
Das bedeutet, dass wenn wir ChatGPT eine Frage stellen, das Modell den Satz nicht in der Form erhält, in der wir ihn sehen.
Dies ist eines der grundlegenden Details, ohne das es schwierig ist zu verstehen, wie moderne Sprachmodelle funktionieren.
Ist ein Token ein Wort, ein Buchstabe oder ein Teil eines Wortes?
Es kann alles von alledem sein.
Frühere Systeme zur Verarbeitung natürlicher Sprache arbeiteten oft mit Wörtern. Dieser Ansatz scheint logisch: Man könnte ein Wörterbuch erstellen, in dem jedes Wort eine eigene Nummer hat.
Das Problem tritt fast sofort auf. Es gibt unglaublich viele Sprachen, und die Anzahl der möglichen Wörter ist praktisch unbegrenzt.
Im Ukrainischen beispielsweise entstehen aus dem Wort „працювати“ die Formen „працюю“, „працюєш“, „працювали“, „працюватимемо“ und viele andere. Dazu kommen Nachnamen, Firmennamen, Slang, Druckfehler, neue Begriffe, URLs, Programmcode usw.
Wenn jedes mögliche Wort eine separate Einheit wäre, bräuchte man ein riesiges Wörterbuch, das niemals vollständig sein kann.
Die andere Extremität wäre, alles in einzelne Zeichen zu zerlegen. Dann wäre das Wörterbuch klein, aber selbst ein kurzer Satz würde sich in eine sehr lange Sequenz verwandeln.
Moderne Sprachmodelle verwenden oft einen Kompromiss — Subwort-Tokenisierung. Häufige Wörter oder Fragmente können ganz bleiben, während seltene in kleinere Teile zerlegt werden.
Zum Beispiel tritt die englische Endung -ing so häufig auf, dass sie in BPE-Tokenisierern als nützlicher wiederkehrender Teil existieren kann. Ein solches Prinzip wird von OpenAI in der Dokumentation seines Tokenisierers tiktoken angeführt. Gleichzeitig bedeutet „Subwort“ hier nicht, dass der Tokenisierer unbedingt echte Wurzeln, Suffixe oder andere Morpheme findet. Die Teilung erfolgt statistisch, und tiktoken verwendet eine Variante von BPE, die mit Bytes arbeitet.
Mit ukrainischen Wörtern geschieht etwas Ähnliches, obwohl die spezifische Teilung vom Tokenisierer abhängt. Dasselbe Wort kann in einem Modell aus zwei Tokens bestehen, in einem anderen aus einem oder drei.
Deshalb kann ein Beispiel wie:
[нейро] [мережа]
gut das Prinzip erklären, bedeutet aber nicht, dass ein bestimmtes Modell das Wort „нейромережа“ genau so zerlegen wird.
Was ist Tokenisierung
Tokenisierung — ist der Prozess der Umwandlung von Rohdaten in eine Sequenz von Tokens, mit der das Modell arbeiten kann.
Für große Sprachmodelle ist es wichtig, eine Teilungsmethode zu finden, die es ermöglicht, häufige Konstruktionen kompakt darzustellen und nicht verloren zu gehen, wenn man auf unbekannte Wörter trifft.
Einer der einflussreichsten Ansätze war Byte Pair Encoding oder BPE.
Eine große Rolle bei der Verbreitung der Subwort-Tokenisierung in neuronalen Sprachsystemen spielte die 2016 veröffentlichte Arbeit von Rico Sennrich, Barry Haddow und Alexandra Birch „Neural Machine Translation of Rare Words with Subword Units“. Die Forscher zeigten, wie die Teilung in Subwort-Einheiten der neuronalen maschinellen Übersetzung hilft, mit seltenen und zuvor unbekannten Wörtern zu arbeiten. Dieser Ansatz wurde später äußerst einflussreich für NLP und Systeme wie BERT und GPT.
Vereinfacht gesagt, lautet die Idee: Der Tokenisierer lernt, welche Fragmente häufig in den Daten vorkommen, und bildet daraus ein Wörterbuch von Einheiten, die für eine kompakte Textdarstellung geeignet sind.
Deshalb kann ein beliebtes kurzes Wort ein Token erhalten, während ein seltenes langes Wort in mehrere zerfallen kann.
Wie ein Token in etwas Verständliches für das Modell umgewandelt wird
Nach der Tokenisierung erhält jeder Token eine bestimmte ID — eine ganze Zahl.
Vereinfacht gesagt:
„Wal“ → Token Nr. 18472
„schläft“ → Token Nr. 52931
Diese Nummern dienen nur zur Veranschaulichung des Prinzips — die tatsächlichen IDs hängen vom spezifischen Tokenisierer ab.
Die Nummer selbst enthält keine Bedeutung des Wortes. Token Nr. 18472 ist nicht „katzenartiger“ als Token Nr. 18473 und bedeutet nicht, dass ein Token wichtiger ist als ein anderer. Es ist in erster Linie ein Index, mit dem das System die benötigte Darstellung findet.
Dann wird der Token in einen Vektor — eine Menge von Zahlen umgewandelt, mit dem das Modell mathematisch arbeiten kann. Diese numerische Darstellung wird Embedding oder Einbettung genannt.
Deshalb sind Token und Embedding nicht dasselbe.
Token — die Einheit, in die der Text zerlegt wurde.
Token-ID — ihre Nummer im Wörterbuch.
Embedding — die numerische Darstellung, mit der das neuronale Netzwerk bereits arbeitet.
Hinzu kommt die Information über die Position des Tokens in der Sequenz und andere Mechanismen des Modells. Dann analysiert der Transformer die Beziehungen zwischen den Tokens und bildet eine interne Darstellung des Kontexts.
Wie ChatGPT Text Token für Token generiert
Tokens sind nicht nur zum Lesen der Anfrage erforderlich. Auch die Antwort des Modells wird durch sie erstellt.
Wenn man es sehr vereinfacht, erhält das Sprachmodell bereits eine vorhandene Sequenz und bestimmt die Wahrscheinlichkeiten möglicher nachfolgender Tokens.
Zum Beispiel:
„Die Hauptstadt der Ukraine — ...“
Danach bewertet das Modell mögliche Fortsetzungen, und der Generierungsmechanismus bestimmt den nächsten Token.
Wenn dieser erscheint, wird der Prozess wiederholt:
Kontext → nächster Token → aktualisierter Kontext → nächster Token → ...
So wird allmählich ein Satz, ein Absatz und eine gesamte Antwort gebildet.
Natürlich ist ein modernes großes Sprachmodell viel komplexer als eine einfache Wahrscheinlichkeitsmatrix. Es berücksichtigt eine riesige Anzahl von Beziehungen im Kontext, und moderne Systeme können zusätzlich Suchanfragen, Werkzeuge, Dateiverarbeitung und Denkmechanismen nutzen. Aber auf der Ebene der Textgenerierung bleibt das Konzept des Tokens grundlegend.
Wie viele Zeichen oder Wörter enthält ein Token
Es gibt keine universelle Formel.
OpenAI gibt für die englische Sprache eine nützliche ungefähre Schätzung an: Ein Token entspricht oft etwa vier Zeichen oder drei Vierteln eines Wortes. Dementsprechend sind 100 Tokens ungefähr 75 englische Wörter. Gleichzeitig betont das Unternehmen, dass das Ergebnis von der Sprache, dem Kontext, dem Modell und der Kodierung abhängt.
Hier ist eine besonders wichtige Klarstellung — dieses Formel bezieht sich auf Englisch.
Es ist nicht sinnvoll, ukrainische Texte mechanisch danach zu zählen. Verschiedene Schriftsysteme, Morphologie und wie effektiv ein bestimmter Tokenisierer eine bestimmte Sprache darstellt, beeinflussen die Anzahl der Tokens.
Deshalb werden 1000 ukrainische und 1000 englische Wörter nicht unbedingt die gleiche Anzahl von Tokens einnehmen.
Darüber hinaus können sogar zwei nahezu identische Zeilen aufgrund von Großbuchstaben, Leerzeichen oder Satzzeichen unterschiedlich tokenisiert werden.
Warum Leerzeichen und Satzzeichen ebenfalls wichtig sind
Der Tokenisierer arbeitet nicht mit „Begriffen“, sondern mit einer bestimmten Sequenz von Zeichen oder Bytes.
Deshalb:
„Wal“ „wal“ „ wal“und „wal.“
können unterschiedliche Token-Sets bilden.
In der Dokumentation von OpenAI gibt es ein anschauliches Beispiel mit dem Wort red: Seine Darstellung variiert je nach Groß- oder Kleinschreibung, Position im Satz und dem Vorhandensein eines Leerzeichens vor dem Wort.
Das mag wie eine unbedeutende technische Detail erscheinen, erklärt aber viele ungewöhnliche Verhaltensweisen von Sprachmodellen.
Warum KI manchmal Schwierigkeiten hat, Buchstaben in Wörtern zu zählen
Ein klassisches Beispiel ist, eine Sprachmodell zu bitten, die Anzahl bestimmter Buchstaben in einem Wort zu zählen.
Für den Menschen ist diese Aufgabe natürlich: Wir können das Wort Zeichen für Zeichen betrachten. Für das Sprachmodell ist die anfängliche Einheit oft nicht ein einzelner Buchstabe, sondern ein Token, das mehrere Zeichen enthalten kann.
Deshalb kann ein Wort, das der Mensch als eine Sequenz von zehn Buchstaben sieht, für das Modell in mehreren Fragmenten vorliegen.
Das ist einer der Gründe, warum Sprachmodellen historisch gesehen oft schwerer fiel, bestimmte Aufgaben mit präziser Zählung von Zeichen, Anagrammen oder Manipulationen mit einzelnen Buchstaben zu erfüllen als Aufgaben, die semantisch viel komplexer erscheinen.
Moderne Systeme können dieses Problem durch Denken, Programmcode oder andere Werkzeuge ausgleichen, sodass die Tokenisierung allein nicht bedeutet, dass das Modell zwangsläufig einen Fehler macht. Aber sie hilft zu verstehen, woher diese seltsame Schwäche überhaupt kommt.
Was ist ein Kontextfenster und welche Beziehung haben Tokens dazu
Der Begriff „Kontextfenster“ beschreibt das Volumen an Informationen, das das Modell bei der Ausführung einer Aufgabe berücksichtigen kann.
Und dieses Volumen wird genau in Tokens gemessen.
In den Kontext können nicht nur die letzte Anfrage des Benutzers, sondern auch frühere Nachrichten des Gesprächs, systemische Anweisungen, Teile von Dokumenten, Ergebnisse von Werkzeugen und andere Informationen, die für die Antwort erforderlich sind, einfließen.
Vereinfacht gesagt, wenn das Modell ein Kontextfenster von 100.000 Tokens hat, bedeutet das nicht, dass der Benutzer genau 100.000 Tokens Text einfügen kann und oben eine unbegrenzte Antwort erhält. In vielen Modellen umfasst das Gesamtlimit sowohl eingehende als auch ausgehende Tokens, und die genauen Einschränkungen hängen vom spezifischen Modell und Dienst ab. Moderne Modelle mit großem Kontext können Hunderttausende von Tokens unterstützen.
Ein großes Kontextfenster bedeutet nicht perfekte Erinnerung
Es gibt eine wichtige Falle: Wenn das Modell technisch in der Lage ist, ein sehr langes Dokument zu erhalten, bedeutet das noch nicht, dass es jede seiner Teile gleich gut nutzen kann.
In einer bekannten Studie „Lost in the Middle: How Language Models Use Long Contexts“ überprüften die Autoren, wie Sprachmodelle relevante Informationen in großen Kontexten finden. In den von ihnen untersuchten Modellen war das Ergebnis oft besser, wenn die relevante Information am Anfang oder Ende des Kontexts enthalten war, und schlechter, wenn sie sich in der Mitte befand.
Seitdem haben sich langkontextuelle Modelle erheblich weiterentwickelt, sodass die Ergebnisse dieser Arbeit nicht automatisch auf jedes moderne Modell übertragen werden sollten. Aber die Unterscheidung zwischen „kann N Tokens aufnehmen“ und „nutzt alle N Tokens gleich gut“ bleibt wichtig.
Deshalb ist es nicht immer besser, gedankenlos Dutzende von Dokumenten in die Anfrage einzufügen, als einen kleineren, aber relevanten Informationssatz zu übermitteln.
Kontext und Gedächtnis sind verschiedene Dinge
Durch Tokens wird es auch einfacher, den Unterschied zwischen Kontext und KI-Gedächtnis zu verstehen.
Der Kontext ist die Information, die dem Modell direkt während einer bestimmten Anfrage zur Verfügung steht. Man kann ihn sich wie einen Schreibtisch vorstellen: Das Modell sieht, was gerade darauf liegt.
Das Gedächtnis in Produkten wie ChatGPT ist ein separater Mechanismus. Informationen aus früheren Interaktionen können außerhalb des aktuellen Kontexts gespeichert werden, und relevante Informationen können bei Bedarf in zukünftigen Gesprächen verwendet werden.
Das bedeutet, dass eine Erhöhung des Kontextfensters für sich genommen der KI kein unendliches Gedächtnis verleiht.
Was sind Eingangs- und Ausgangstokens
In Entwicklerdiensten sieht man oft die Begriffe input tokens und output tokens.
Eingangstokens — die Informationen, die das System dem Modell zur Verarbeitung übergeben hat: die Anfrage des Benutzers und anderer Kontext.
Ausgangstokens — die Tokens, die das Modell in der Antwort erstellt hat.
In einigen APIs gibt es auch andere Kategorien. Zum Beispiel zählt OpenAI separat cachierte Tokens — Tokens der Eingabedaten, die aus dem Cache stammen — und Reasoning Tokens, die einige Modelle für interne Schritte vor der endgültigen Antwort verwenden. Diese Kategorien spiegeln sich in den Nutzungsdaten der API wider.
Für einen normalen Benutzer, der ChatGPT über die Website oder die App nutzt, bleiben diese Kategorien größtenteils technische Details. Für einen Entwickler, der über die API arbeitet, haben sie jedoch direkte Auswirkungen auf die Ressourcennutzung und die Kosten.
Warum für KI oft nach Tokens bezahlt wird
Für die APIs großer Sprachmodelle sind Tokens zu einer praktischen Maßeinheit für die Nutzung geworden.
Eine Anfrage mit zwei Sätzen und die Analyse eines 300-seitigen Dokuments erfordern ganz unterschiedliche Rechenmengen. Dasselbe gilt für eine kurze Antwort „ja“ und einen detaillierten Bericht von mehreren Tausend Wörtern.
Deshalb legen Anbieter von KI-Diensten oft die Preise nach der Anzahl der verarbeiteten Tokens fest.
In der OpenAI API werden die Tarife für Sprachmodelle unter anderem separat für eingehende, zwischengespeicherte Eingangs- und Ausgangstokens festgelegt, und die Preise werden normalerweise pro Million Tokens angegeben. Die Kosten hängen vom spezifischen Modell ab.
Das sollte nicht mit einem Abonnement für ChatGPT verwechselt werden: Ein Benutzer eines regulären ChatGPT-Tarifs erhält keine separate Rechnung für jedes verwendete Token. Das Token-Modell der Berechnung ist besonders wichtig für Entwickler, die Sprachmodelle über APIs in ihre eigenen Anwendungen integrieren, sowie für spezielle Unternehmensnutzungspläne.
Warum ein kürzerer Prompt nicht immer besser ist
Wenn Tokens den Kontext und die Kosten beeinflussen, könnte die logische Frage entstehen: Sollten alle Anfragen so kurz wie möglich sein?
Nicht unbedingt.
Überflüssige zwanzig Sätze können tatsächlich unnötig sein. Aber eine übermäßig kurze Anfrage könnte den Kontext fehlen, der für eine gute Antwort erforderlich ist.
Zum Beispiel:
„Schreibe einen Brief“.
benötigt sehr wenige Tokens, erklärt dem Modell aber fast nichts.
Im Gegensatz dazu:
„Schreibe einen kurzen freundlichen Brief an einen Kunden, um ihn über die Verschiebung des Treffens von Montag auf Mittwoch zu informieren. Ohne übermäßig formellen Ton“.
wird länger sein, definiert die Aufgabe aber viel genauer.
Deshalb ist die Optimierung von Tokens nicht die Kunst, so wenig wie möglich zu schreiben. Vielmehr ist es die Fähigkeit, keinen Kontext für Informationen zu verschwenden, die nicht helfen, die Aufgabe zu erfüllen.
Warum verschiedene Modelle denselben Text unterschiedlich zählen
Es gibt keinen einheitlichen Tokenisierer für die gesamte künstliche Intelligenz.
Verschiedene Modellfamilien können unterschiedliche Wörterbücher, Tokenisierungsalgorithmen und Regeln zur Textverarbeitung haben. Selbst innerhalb eines Unternehmens können verschiedene Generationen von Modellen unterschiedliche Kodierungen verwenden.
OpenAI weist ausdrücklich darauf hin, dass die genaue Anzahl der Tokens vom Modell und der Kodierung abhängt und stellt eine Bibliothek tiktoken zur Verfügung, um mit der Tokenisierung seiner Modelle zu arbeiten.
Deshalb ist die Aussage „Dieser Text hat 3000 Tokens“ ohne Angabe des Tokenisierers manchmal nur ungefähr.
Genauer wäre zu sagen: „Dieser Text hat ungefähr 3000 Tokens für dieses oder jenes Modell oder diese oder jene Kodierung“.
Was sind spezielle Tokens
Nicht alle Tokens entsprechen unbedingt sichtbaren Teilen des normalen Textes.
Modelle und die Systeme um sie herum können spezielle Tokens verwenden, die die Struktur der Informationen kennzeichnen: zum Beispiel die Grenzen bestimmter Fragmente oder Steuerungselemente des Formats. In tiktoken gibt es ebenfalls einen speziellen Mechanismus für spezielle Tokens.
Der Benutzer sieht sie normalerweise nicht.
Das ist ein weiterer Grund, warum die Anzahl der Tokens, die tatsächlich an das Modell übergeben werden, nicht immer einfach durch Zählen der Zeichen in der sichtbaren Nachricht bestimmt werden kann.
Gibt es nicht-textuelle Tokens?
Ja. In multimodalen Systemen kann das Konzept eines Tokens nicht nur auf Text angewendet werden.
Wenn ein Modell mit Bildern, Audio oder anderen Datentypen arbeitet, muss auch diese Information in eine numerische Darstellung umgewandelt werden, die für die Verarbeitung durch das neuronale Netzwerk geeignet ist. Der spezifische Mechanismus hängt von der Architektur ab: Bilder können beispielsweise durch separate Bereiche oder Patches verarbeitet und in eine Sequenz interner Darstellungen umgewandelt werden.
In den modernen OpenAI APIs kann die Verwendung multimodaler Modelle tatsächlich durch separate image tokens, audio tokens und text tokens erfasst werden.
Deshalb bedeutet das Wort „Token“ im weiteren technischen Kontext nicht immer nur ein Stück geschriebenes Wort. Aber die Art und Weise, wie solche Einheiten für Text, Bilder und Audio gebildet werden, kann ganz unterschiedlich sein, weshalb man sie nicht als denselben Mechanismus betrachten sollte.
Tokens und Modellparameter sind ebenfalls nicht dasselbe
Noch zwei Begriffe, die leicht verwechselt werden können.
Tokens — das sind die Informationseinheiten, die das Modell erhält oder generiert.
Parameter — numerische Werte innerhalb des neuronalen Netzwerks, die im Lernprozess gebildet wurden.
Wenn gesagt wird, dass das Modell auf Billionen von Tokens trainiert wurde, bezieht sich das auf das Volumen der Trainingsdaten in tokenisierter Form.
Wenn von einem Modell mit Milliarden von Parametern die Rede ist, bezieht man sich bereits auf seine interne Struktur.
Das bedeutet, dass die Parameter dem Modell gehören, während die Tokens durch es hindurchgehen.
Warum das Konzept des Tokens für den normalen Benutzer wichtig ist
Für ein normales Gespräch mit ChatGPT ist es nicht notwendig, die Tokenisierung zu kennen. Man kann jahrelang KI nutzen, ohne jemals Tokens manuell zu zählen.
Aber genau dieses Konzept erklärt viele Dinge, die sonst seltsam erscheinen.
Warum kann das Modell nicht unendlich die gesamte Gesprächshistorie berücksichtigen? Weil der Kontext eine begrenzte Größe in Tokens hat.
Warum muss ein riesiges Dokument manchmal in Teile zerlegt werden? Weil es in den verfügbaren Kontext passen muss.
Warum kann ein ukrainisches Wort mehr „Platz“ einnehmen als ein ähnlich langes englisches? Weil das Modell nicht mit Wörtern, sondern mit Tokens eines bestimmten Tokenisierers arbeitet.
Warum hat die Nutzung eines Sprachmodells über die API unterschiedliche Kosten für kurze und lange Aufgaben? Weil das Volumen der verarbeiteten und generierten Informationen oft in Tokens gemessen wird.
Und selbst die vertraute Phrase „KI liest Text“ sieht danach etwas anders aus. Das Sprachmodell sieht die Seite nicht so, wie wir sie sehen. Zuerst wird der Satz in kleine maschinelle Einheiten zerlegt, diese werden in Zahlen und numerische Vektoren umgewandelt, durch das neuronale Netzwerk geleitet — und erst am Ende wird die Sequenz der generierten Tokens wieder zu Wörtern, die auf unserem Bildschirm erscheinen.
