Dla biznesu
Co to jest
Koszt i czas trwania każdego przebiegu, z podziałem na kroki, klientów i funkcje.
Dlaczego to ważne
Znasz koszt jednostkowy raportu i możesz wyceniać, budżetować i optymalizować na prawdziwych liczbach.
Ryzyko bez tego
Koszty AI zaskakują pod koniec miesiąca, a wolne kroki pozostają niezauważone, dopóki użytkownicy nie zaczną się skarżyć.
Dla inżynierów
Jak to działa
Liczby tokenów i ceny dostawców są logowane dla każdego wywołania i agregowane per przebieg, tenant i funkcja; percentyle opóźnień dla każdego etapu; budżety z alertami.
Typowy stack
- logi gatewaya
- CloudWatch / Grafana
- dashboardy kosztów
Pułapki i kompromisy
- Wliczaj retry i embeddingi do kosztu.
- Patrz na p95, nie na średnią.
- Cache hit rate to metryka kosztowa.
Przykładowy wzorzec · fikcyjne dane · nie system klienta