koedesk STT Bench

Dokładność wielojęzycznego rozpoznawania mowy (speech-to-text), mierzona zgodnie z wcześniej zarejestrowaną metodologią — Track A (FLEURS), 13 hostowanych wariantów silników × 12 języków × 200 wypowiedzi.

Jak czytać tabele

Silniki są rankingowane dla każdego języka w grupy równorzędności (tier) (T1, T2, …): silnik należy do tego samego tier co lider, jeśli sparowany bootstrap (n=10 000, ziarno losowe zamrożone przy wstępnej rejestracji) nie jest w stanie statystycznie odróżnić go od lidera tier (95% CI sparowanej różnicy zawiera zero). Różnice wewnątrz jednego tier nie są statystycznie istotne — również dla Scribe v2. Główną metryką jest CER dla japońskiego, chińskiego i tajskiego, a WER dla pozostałych dziewięciu języków; obie są zawsze pokazywane. Im niżej, tym lepiej.

Przegląd — tier w podziale na języki

„n/a” = silnik nie obsługuje danego języka (AmiVoice: tylko japoński; Voxtral: bez vi/id/th). #T1 to liczba języków, w których silnik znajduje się w najwyższym tier.

Wyniki dla poszczególnych języków — Track A (FLEURS)

Uwagi i znane artefakty

• Track A wykorzystuje FLEURS (publiczny zbiór testowy), 200 wypowiedzi × 12 języków, dostarczanych do każdego silnika jako identyczny 16-bitowy plik PCM znormalizowany szczytowo do −6 dBFS (PREREGISTRATION §4). Publiczne zbiory testowe mogą występować w danych treningowych silników — znane ograniczenie tych wyników, ujawnione, a nie rozwiązane; v1 obejmuje wyłącznie Track A (Amendment 7).
• AmiVoice bierze udział wyłącznie dla języka japońskiego (§2). Mistral Voxtral obejmuje 9 z 12 języków — wietnamski, indonezyjski i tajski nie są obsługiwane przez API i są oznaczane jako „nieobsługiwany”, a nie jako błąd (Amendment 5).
• Język tajski nie ma segmentacji wyrazów; WER nie jest dla niego zdefiniowany (§5.6), a jego kolumna pokazuje „—”. Główną metryką dla tajskiego jest CER.
• Silnik zwracający pusty tekst jest oceniany jako same usunięcia (all-deletions) i nigdy nie jest wykluczany (§6) — wykluczanie pustych odpowiedzi to klasyczny sposób na wybielenie słabego silnika.
• Gemini 2.5 Pro / chiński zawiera jedną wypowiedź (zh_0192), w której silnik zwrócił około 4800 znaków angielskiego tekstu rozumowania zamiast transkrypcji (finish_reason=stop, pełna odpowiedź). Opublikowano zgodnie z pomiarem według R-2.4/§7: mierzone jest właśnie zachowanie silnika przy wstępnie zarejestrowanych parametrach domyślnych. Bez tej jednej wypowiedzi CER dla tej komórki wynosiłby 0,0645; z nią — 0,4834. To realny tryb awarii silników STT typu LLM.
• 13 z 200 chińskich referencji FLEURS zawiera ujęte w nawiasy angielskie objaśnienia, które nie są wypowiadane w audio (np. „罗兰多·门多萨 (Rolando Mendoza)”). Zawyża to CER jednakowo dla każdego silnika i nie wpływa na ranking.
• Pięć wariantów Gemini jest wywoływanych przez Cloudflare AI Gateway (ujednolicone rozliczenia); ich wartości opóźnienia obejmują ten dodatkowy przeskok. Dokładność pozostaje niezmieniona.
• RTF = czas rzeczywisty żądania w sekundach ÷ długość audio w sekundach — im mniej, tym szybciej. Zmierzone na jednej maszynie (Mac mini w Wietnamie; cały ruch wychodzi przez węzeł wyjściowy VPN na AWS ap-northeast-1, Tokio — Amendment 6). Ta sama ścieżka dotyczy każdego silnika, więc porównanie względne pozostaje niezaburzone; wartości bezwzględne zawierają stały narzut przeskoku VPN. Informacyjne, nie oś rankingu (§6).
• Ceny to cenniki dostawców za godzinę audio na dzień przebiegu. „—” oznacza, że dostawca nie ma cennika za godzinę (warianty Gemini rozliczane za tokeny; AmiVoice zmierzony na darmowym planie).

Odtwarzanie / audyt

Wszystko znajduje się w repozytorium: surowe odpowiedzi API dla wszystkich 28 400 wypowiedzi, zamrożone normalizatory i kod oceniający z testami, dziennik poprawek tylko do dopisywania oraz make_scores.py / make_site.py, które w sposób deterministyczny regenerują results/scores.json i tę stronę — bez ręcznie edytowanych liczb. Ponowne uruchomienie dowolnej komórki wymaga jedynie własnych kluczy API.