Dla biznesu
Co to jest
Ciągłe sprawdzanie stanu: błędy, kolejki, sygnały jakości i zmiany w rodzaju napływających danych.
Dlaczego to ważne
Problemy są wykrywane i naprawiane, zanim zauważą je użytkownicy.
Ryzyko bez tego
Dostawca aktualizuje model albo zmieniają się dane wejściowe, a jakość spada i nikt tego nie zauważa.
Dla inżynierów
Jak to działa
Dashboardy i alerty na odsetek błędów, głębokość kolejek, rozmiar dead-letter queue, opóźnienie, niepowodzenia guardrails i odsetek poprawek w review, plus wykrywanie dryfu w rozkładach danych wejściowych i wynikach ewaluacji w czasie.
Typowy stack
- CloudWatch / Grafana
- PagerDuty / Opsgenie
- wyniki ewaluacji w czasie
Pułapki i kompromisy
- Alertuj na objawy, które odczuwają użytkownicy.
- Śledź jakość, nie tylko dostępność.
- Przypinaj wersje modeli tam, gdzie dostawcy na to pozwalają.
Przykładowy wzorzec · fikcyjne dane · nie system klienta