Token – das Geheimwort der KI

Stell dir vor, du fütterst eine KI mit Text. Aber die KI liest nicht wie wir Wort für Wort – sie zerlegt alles in kleine Häppchen, sogenannte Tokens.

Was genau ist ein Token?

Ein Token ist die kleinste Einheit, mit der ein KI-Modell arbeitet. Aber Achtung: Ein Token ist nicht automatisch ein Wort! Je nach Sprache und Wortlänge kann ein Token ein ganzes Wort sein, nur ein Wortteil oder sogar ein einzelnes Sonderzeichen.

Schauen wir uns das konkret an: Das einfache englische Wort „cat" ist ein einzelner Token. Aber das deutsche Wort „Künstliche" wird in mehrere Tokens zerlegt – etwa „Künst" und „liche". Noch extremer wird es bei zusammengesetzten Wörtern wie „Donaudampfschifffahrtsgesellschaft" – das zerfällt in eine ganze Reihe von Tokens.

Warum macht die KI das so? Die Modelle wurden mit riesigen Textmengen trainiert und haben dabei gelernt, welche Zeichenkombinationen häufig vorkommen. Diese häufigen Muster werden zu Tokens. Seltene oder lange Wörter müssen aus mehreren Tokens zusammengesetzt werden.

Eine praktische Faustregel: Bei deutschen Texten entsprechen 100 Tokens ungefähr 60-75 Wörtern. Bei englischen Texten kommt man auf etwa 75-80 Wörter pro 100 Tokens, weil englische Wörter im Schnitt kürzer sind.

Auch Leerzeichen, Satzzeichen und Zeilenumbrüche verbrauchen Tokens. Selbst Emojis kosten Tokens – manche sogar mehrere!

Wie arbeitet die KI mit Tokens?

Wenn du einen Prompt eingibst, passiert Folgendes: Zuerst zerlegt ein sogenannter Tokenizer deinen Text in einzelne Tokens. Jeder Token bekommt eine Nummer aus dem „Vokabular" des Modells – einer riesigen Liste aller bekannten Tokens. GPT-4 kennt beispielsweise über 100.000 verschiedene Tokens.

Die KI verarbeitet dann nicht deinen Text, sondern diese Zahlenfolge. Sie berechnet für jeden Token Wahrscheinlichkeiten: Welcher Token kommt als nächstes am wahrscheinlichsten? So entsteht die Antwort – Token für Token, wie eine Perlenkette, die Stück für Stück aufgefädelt wird.

Das erklärt übrigens auch, warum KI manchmal „halluziniert": Sie wählt immer den statistisch wahrscheinlichsten nächsten Token, auch wenn das Ergebnis inhaltlich falsch ist.

Warum sind Tokens so wichtig?

1. Das Kontextfenster

Jedes KI-Modell hat ein begrenztes „Gedächtnis" – das Kontextfenster. Es wird in Tokens gemessen. GPT-4o hat beispielsweise 128.000 Tokens, Claude kann sogar 200.000 Tokens verarbeiten. Klingt viel, aber: In dieses Fenster muss alles rein – dein Prompt, hochgeladene Dokumente UND die Antwort der KI. Ist das Fenster voll, „vergisst" die KI den Anfang eurer Unterhaltung.

2. Die Kosten

Bei der API-Nutzung zahlst du pro Token – sowohl für Input als auch Output. Je mehr Tokens deine Anfrage und die Antwort verbrauchen, desto teurer wird es. Deshalb lohnt sich präzises Prompten auch finanziell.

Tokens sind die Währung der KI-Welt. Sie bestimmen, wie viel Kontext ein Modell behalten kann und was die Nutzung kostet. Wer versteht, wie Tokens funktionieren, kann KI-Tools effizienter und günstiger einsetzen.

Wenn Du alle wichtigen KI-Begriffe kennenlernen willst, empfehle ich Dir meinen Online-Kurs "Diese 20 KI-Begriffe solltest Du kennen":

https://www.skool.com/superkraft-ki/classroom/d097aa9d?md=704e4734abf04c8597cb35035bd48073https://www.skool.com/superkraft-ki/classroom/d097aa9d?md=704e4734abf04c8597cb35035bd48073

2 comments