Begriff · Wie Sprachmodelle arbeiten
Inferenz
Auch: Inference, Modellaufruf
Inferenz ist das Anwenden eines fertig trainierten Sprachmodells: Es bekommt deine Eingabe und erzeugt daraus Token für Token die Antwort.
Mehr zuWie Sprachmodelle arbeiten
Von Marcus · aktualisiert am
Jede Antwort, die du bekommst, ist eine Inferenz: Das Modell liest den Kontext und schreibt Token für Token die Fortsetzung. Dabei ändert sich am Modell nichts. Inferenz kostet Rechenzeit, und genau dafür berechnen Anbieter Gebühren pro Token.
Der Unterschied zum Training erklärt viel: Training formt das Modell einmalig, Inferenz nutzt es bei jeder Anfrage. Nur das Zweite passiert, wenn du im Chat tippst.
Beispiel aus dem Arbeitsalltag
Eine Anbieter-Seite nennt „Inferenzkosten“. Du liest: Das ist der Preis dafür, dass das Modell deine Anfragen beantwortet, gemessen in Tokens. Mit dem Training hat das nichts zu tun.
Häufiges Missverständnis
„Inferenz ist eine besonders fortgeschrittene Fähigkeit des Modells.“ Es ist nur der Fachausdruck für das normale Beantworten einer Anfrage mit einem fertigen Modell.
So benutzt du den Begriff
„Die Inferenz läuft beim Anbieter, nicht auf unserem Rechner.“
„Längere Antworten bedeuten mehr Inferenz und damit mehr Kosten.“
In diesen Lektionen
Verwandte Begriffe
Weiter stöbern
- BegriffTrainingTraining ist der einmalige, aufwendige Vorgang, in dem ein Sprachmodell an viel Text lernt, den nächsten Textteil vorherzusagen; danach steht sein Wissen fest.
- BegriffTokenEin Token ist ein Textstück von etwa einer Silbe bis einem Wort; in Tokens misst ein Sprachmodell, wie viel Text es liest und schreibt.
- BegriffKosten pro TokenKosten pro Token sind der Preis, den ein Anbieter für jedes gelesene und geschriebene Token berechnet; lange Eingaben und Antworten kosten mehr.
Der Kurs
Das lernst du im Kurs Schritt für Schritt
Modul 1 (Wie KI funktioniert) behandelt das in der Einheit „Vorhersagen statt nachschlagen“.
Versteh in 7 Lektionen, wie KI arbeitet
Kostenlos: eine kurze Lektion pro Tag, jede mit einem Bild aus dem Alltag und einer Kleinigkeit für deine eigene Arbeit. Sie kommt in dein Postfach, ohne Konto, jederzeit abbestellbar.
Oder mach das Gratis-Quiz, oder sieh dir den Kurs an: 199 € einmalig · 30 Tage Geld-zurück-Garantie.