Dla biznesu
Co to jest
Kontrola jakości na wejściu: duplikaty są usuwane, a wadliwe albo niekompletne dane odrzucane z podaniem powodu.
Dlaczego to ważne
Odrzucenie złych danych w milisekundach jest dużo tańsze niż tłumaczenie się z błędnego raportu tydzień później.
Ryzyko bez tego
Zduplikowane spotkania dają zduplikowane raporty; puste transkrypcje dają pewne siebie bzdury.
Dla inżynierów
Jak to działa
Walidacja schemy, kontrole treści (minimalna długość, wykryty język, długość nagrania względem długości transkrypcji) i idempotencja: hash treści albo id źródła sprawia, że ponowne przetwarzanie jest bezpieczne. Odrzucone dane trafiają do kolejki review z dołączonym powodem.
Typowy stack
- Zod / JSON Schema
- hashe treści SHA-256
- warunkowe zapisy w DynamoDB
Pułapki i kompromisy
- Zgłaszaj błąd głośno i z powodem. Nigdy nie odrzucaj po cichu.
- Klucze idempotencji muszą być stałe przy każdym retry.
- Reguły walidacji to reguły biznesowe: trzymaj je na widoku i testuj.
W tym przykładzie
Wejście
→ 3 rekordy
Wyjście
schema ok duplikaty ok odrzucone 0
Fikcyjny przykład · nie system klienta