Dla biznesu
Co to jest
Złożenie dokładnie tego, co widzi model: instrukcji, znalezionych źródeł, faktów o kliencie i istotnej historii, we właściwej kolejności i rozmiarze.
Dlaczego to ważne
Jakość odpowiedzi zależy bardziej od tego, co trafia do promptu, niż od tego, za który model płacisz. Dobrze zrobione to także największa dźwignia kosztów.
Ryzyko bez tego
Przeładowane prompty są wolniejsze, droższe i mniej dokładne; brak kontekstu daje ogólnikowe odpowiedzi.
Dla inżynierów
Jak to działa
Szablon stawia stałe części na początku (rola, reguły, format wyniku), żeby mogły trafić do prompt cache, a potem części zmienne: źródła z identyfikatorami, fakty z CRM i krótką pamięć. Budżet tokenów dla każdej sekcji decyduje, co zostaje przycięte albo streszczone.
Typowy stack
- szablony promptów w kodzie
- tokenizery
- prompt caching dostawcy
- magazyny pamięci
Pułapki i kompromisy
- Treść do cache trzymaj na początku i bajt w bajt identyczną.
- Oznaczaj źródła identyfikatorami, żeby model mógł je cytować.
- Wersjonuj prompty jak kod i testuj zmiany na ewaluacjach.
W tym przykładzie
Wejście
→ reguły + 5 chunków + CRM + pamięć
Wyjście
jeden prompt w budżecie tokenów prefiks: w cache
Fikcyjny przykład · nie system klienta