Dla biznesu
Co to jest
Stały zestaw prawdziwych przykładów ze znanymi dobrymi odpowiedziami, uruchamiany automatycznie, żeby sprawdzać jakość.
Dlaczego to ważne
Każda zmiana, nowy prompt albo nowy model, jest testowana, zanim do kogokolwiek trafi, jak testy jednostkowe dla AI.
Ryzyko bez tego
Jakość po cichu dryfuje, a „lepszy” model niepostrzeżenie psuje ważny przypadek.
Dla inżynierów
Jak to działa
Wzorcowe zbiory danych zbudowane ze zweryfikowanych prawdziwych przypadków; ocena deterministycznymi kontrolami plus LLM judge ze stałymi kryteriami oceny; uruchamiane w CI przy każdej zmianie promptu albo modelu, z progami, które blokują release.
Typowy stack
- własny harness do ewaluacji
- promptfoo / Langfuse evals
- pipeline CI
Pułapki i kompromisy
- Kalibruj judge’a względem ocen ludzi.
- Odświeżaj zbiory na podstawie feedbacku z produkcji.
- Testuj przypadki brzegowe, nie tylko średnią.
Przykładowy wzorzec · fikcyjne dane · nie system klienta