Eval

Ein einzelner gelungener Durchlauf beweist wenig, denn die Antworten schwanken. Für eine Aufgabe, die du regelmäßig mit KI erledigst, legst du deshalb ein paar feste Testfälle an: einen typischen Fall, einen Randfall und einen Fall, an dem das Ergebnis scheitern sollte. Dazu schreibst du auf, woran du ein gutes Ergebnis erkennst.

Immer wenn du den Prompt änderst oder das Werkzeug wechselt, läufst du die Fälle erneut durch. So merkst du, ob eine Änderung etwas verbessert oder nur anders macht.

Beispiel aus dem Arbeitsalltag

Für die Vorlage „Kundenbeschwerde beantworten“ hast du drei Testmails: eine normale Reklamation, eine sehr wütende und eine, bei der es um eine Rechtsfrage geht und die an die Rechtsabteilung gehen soll. Nach jeder Änderung schaust du, ob alle drei noch passen.

Häufiges Missverständnis

„Evals sind nur etwas für Entwicklerteams.“ Im Kern sind sie drei Beispiele und eine Checkliste. Das kann jede Person anlegen, die eine Aufgabe regelmäßig mit KI erledigt.

So benutzt du den Begriff

„Bevor wir die neue Vorlage übergeben, lassen wir unser Eval mit den drei Testfällen laufen.“

„Der Randfall im Eval ist durchgefallen, die Vorlage braucht ein zusätzliches Kriterium.“