Die Kollegen, die bei uns die Themen rund um generative KI bearbeiten, verbringen jetzt schon gefühlt die Hälfte ihrer Arbeitszeit damit, gruselige Optimierungen durchzuführen.
Da nimmt man irgendwelche strukturierten Daten, wie z.B. JSON, nur um dann ein Skript drüber laufen zu lassen, welches die ganzen Feldnamen rauswirft. Dann schiebt man es in die KI rein und sagt der KI, sie möge damit etwas tun, aber das Ausgabeformat soll auch wieder möglichst unlesbar sein. Dann lässt man im Anschluss nochmal ein anderes Skript drüber laufen, um wieder Feldnamen hinzuzufügen.
Die Feldnamen sind nämlich alles Tokens™. Was ein Token so wirklich ist, weiß trotzdem niemand genau. Das entscheidet Microsoft.
Aber wir bezahlen Lizenzkosten anhand von Tokens. Ein Glück, dass Microsoft da nicht in einem Interessenskonflikt steht, und die Definition von Tokens im eigenen Interesse abändern könnte.