Dla biznesu
Co to jest
Każdy fragment zamieniany jest na listę liczb, która oddaje jego znaczenie, dzięki czemu podobne idee da się znaleźć, nawet gdy słowa są inne.
Dlaczego to ważne
„Chce wcześniej przestać pracować” może pasować do „emerytura w wieku 60 lat”. To sprawia, że wyszukiwanie w spotkaniach wydaje się inteligentne.
Ryzyko bez tego
Ponowne liczenie embeddingów dla wszystkiego przy każdej zmianie szybko robi się drogie, a zmiana modelu bez planu psuje wyszukiwanie.
Dla inżynierów
Jak to działa
Chunki są embeddowane w batchach; wyniki trafiają do cache według hasha treści, więc za niezmieniony tekst nigdy nie płaci się dwa razy. Nazwa i wersja modelu są zapisywane przy każdym wektorze, więc indeks jest przebudowywany tylko świadomie.
Typowy stack
- embeddingi OpenAI / Cohere / Bedrock
- batch API
- cache według hasha treści
Pułapki i kompromisy
- Nigdy nie mieszaj w jednym indeksie wektorów z dwóch modeli.
- Używaj batchy dla przepustowości i zwalniaj przy limitach zapytań.
- Czyść tekst tak samo przy indeksowaniu i przy zapytaniu.
W tym przykładzie
Wejście
→ c02 dochód
Wyjście
[0.021, -0.113, 0.087, … ] cache: miss → zapisano
Fikcyjny przykład · nie system klienta