Dla biznesu
Co to jest
Długie dokumenty są dzielone na mniejsze fragmenty, każdy o jednym temacie, żeby system mógł później znaleźć dokładnie tę część, która ma znaczenie.
Dlaczego to ważne
Odpowiedzi stają się dokładniejsze i tańsze: model czyta trzy istotne akapity zamiast dwugodzinnej transkrypcji.
Ryzyko bez tego
Fragmenty ucięte w pół myśli tracą sens; zbyt duże fragmenty zagłuszają odpowiedź szumem.
Dla inżynierów
Jak to działa
Najpierw podział według struktury (wypowiedzi mówców, nagłówki, zmiany tematu), potem według rozmiaru (zwykle kilkaset tokenów), z niewielkim nakładaniem, żeby kontekst nie ginął na brzegach. Każdy chunk niesie metadane: źródło, pozycję, mówcę, datę i klienta.
Typowy stack
- własne splittery
- splittery LlamaIndex / LangChain
- tokenizery
Pułapki i kompromisy
- Dobieraj rozmiar chunków według jakości wyszukiwania, nie intuicji.
- Zbyt duże nakładanie zwraca ten sam fragment dwa razy.
- Zapisuj offsety chunków w źródle, żeby cytowania mogły do niego wskazywać.
W tym przykładzie
Wejście
→ transkrypcja 6 tematów
Wyjście
c01 cele c02 dochód c03 ryzyko … nakładanie 15%
Fikcyjny przykład · nie system klienta