Krok 02 / 20 · Zbieranie · STT · OCR · diaryzacja

Parsowanie

Mowa na tekst z podziałem na mówców, OCR dla skanów.

Dla biznesu

Co to jest

Zamiana surowego materiału na tekst: mowa staje się transkrypcją, która pokazuje, kto co powiedział, a skany stają się czytelnym tekstem.

Dlaczego to ważne

Wszystko dalej czyta tekst. Etykiety mówców mają znaczenie: „klient chce przejść na emeryturę w wieku 60 lat” to inny fakt niż ta sama sugestia ze strony doradcy.

Ryzyko bez tego

Słaba transkrypcja po cichu zatruwa każdy kolejny krok: podsumowanie może być tylko tak dokładne jak słowa, które dostało.

Dla inżynierów

Jak to działa

Audio przechodzi przez speech-to-text z diaryzacją (rozdzieleniem mówców) i znacznikami czasu dla słów. Dla PDF-ów używana jest warstwa tekstowa, jeśli istnieje, a OCR tylko dla zeskanowanych stron. Długie nagrania są dzielone, transkrybowane równolegle i sklejane z powrotem według znaczników czasu.

Typowy stack

  • STT klasy Whisper
  • AWS Transcribe / Deepgram
  • Textract / Tesseract
  • ffmpeg

Pułapki i kompromisy

  • Diaryzacja słabo radzi sobie, gdy ludzie mówią naraz, więc zachowuj wskaźniki pewności.
  • Słownictwo branżowe (ISA, SIPP, nazwy funduszy) wymaga własnego słownika albo korekty po transkrypcji.
  • Mierz word error rate na własnych nagraniach, nie na benchmarkach dostawcy.

W tym przykładzie

Wejście
meeting_0412.m4a
2 mówców
Wyjście
[00:42] DORADCA:
  Jakie ma Pan cele?
[00:47] KLIENT:
  Emerytura w wieku 60…

Fikcyjny przykład · nie system klienta

Kontakt

Masz pytania?

Umów rozmowę Napisz na hello@paxcode.it