Źródła

Co to jest

Wszystko, na czym pracuje pipeline: nagrane spotkania, przesłane dokumenty, rekordy z CRM i zdarzenia z innych systemów.

Dlaczego to ważne

Decyzja na starcie, które źródła się liczą i kto za nie odpowiada, sprawia, że wynikom można później ufać. Każde przyjęcie danych jest logowane, więc każdą odpowiedź da się prześledzić do jej źródła.

Ryzyko bez tego

Dane wpływają bocznymi drzwiami, nikt nie potrafi powiedzieć, skąd pochodzi dane stwierdzenie, a kontrole compliance utykają.

Jak to działa

Każde źródło dostaje swój konektor: uploady przez pre-signed URL do object storage dla audio i PDF-ów, pobieranie przez API albo webhooki dla zdarzeń z CRM. Każde przyjęte dane zapisuje się jako niezmienny surowy obiekt plus mały rekord metadanych (źródło, właściciel, czas odbioru, suma kontrolna), zanim cokolwiek innego ich dotknie.

Typowy stack

• uploady S3 przez pre-signed URL
• webhooki przez API Gateway
• REST API systemów CRM
• EventBridge

Pułapki i kompromisy

• Webhooki są ponawiane, więc licz się z duplikatami.
• Zachowaj surowe dane: zechcesz je przetworzyć ponownie, gdy modele się poprawią.
• Duże pliki idą przez multipart upload, nie w treści żądania.