koedesk STT Bench

Precisió del reconeixement de veu multilingüe, mesurada seguint una metodologia preregistrada — Track A (FLEURS), 13 variants de motors allotjats × 12 idiomes × 200 enunciats.

Com llegir les taules

Els motors es classifiquen per idioma en grups d'empat (T1, T2, …): un motor comparteix nivell quan un bootstrap aparellat (n=10.000, llavor fixada en la preregistració) no pot distingir-lo estadísticament del líder del nivell (l'IC del 95% de la diferència aparellada inclou zero). Les diferències dins d'un mateix nivell no són estadísticament significatives — tampoc per a Scribe v2. La mètrica principal és el CER per al japonès, el xinès i el tailandès, i el WER per als altres nou idiomes; totes dues es mostren sempre. Com més baix, millor.

Resum — nivell per idioma

«n/a» = el motor no admet aquest idioma (AmiVoice: només japonès; Voxtral: no admet vi/id/th). #T1 compta els idiomes on el motor és al nivell superior.

Resultats per idioma — Track A (FLEURS)

Notes i artefactes coneguts

• La Track A utilitza FLEURS (conjunt de test públic), 200 enunciats × 12 idiomes, lliurats a cada motor com el mateix fitxer PCM de 16 bits normalitzat en pic a −6 dBFS (PREREGISTRATION §4). Els conjunts de test públics poden aparèixer en les dades d'entrenament dels motors — una limitació coneguda d'aquests resultats, revelada en lloc de resolta; la v1 només inclou la Track A (Amendment 7).
• AmiVoice només participa en japonès (§2). Mistral Voxtral cobreix 9 dels 12 idiomes — el vietnamita, l'indonesi i el tailandès no són compatibles amb l'API i es mostren com a «no compatible», no com a errors (Amendment 5).
• El tailandès no té segmentació de paraules; el WER no hi està definit (§5.6) i la seva columna mostra «—». El CER és la mètrica principal del tailandès.
• Un motor que retorna text buit puntua com a totes supressions i mai s'exclou (§6) — excloure els buits és la manera clàssica de blanquejar un motor deficient.
• Gemini 2.5 Pro / xinès inclou un enunciat (zh_0192) en què el motor va retornar uns 4.800 caràcters de text de raonament en anglès en lloc d'una transcripció (finish_reason=stop, resposta completa). Publicat tal com es va mesurar segons R-2.4/§7: el que es mesura és el comportament del motor amb els paràmetres per defecte preregistrats. Sense aquest únic enunciat, el CER de la cel·la seria 0,0645; amb ell, 0,4834. Es tracta d'un mode de fallada real dels motors STT de tipus LLM.
• 13 de les 200 referències en xinès de FLEURS incorporen glosses en anglès entre parèntesis que no es pronuncien a l'àudio (p. ex. «罗兰多·门多萨 (Rolando Mendoza)»). Això infla el CER per igual per a tots els motors i no afecta la classificació.
• Les cinc variants de Gemini es criden a través de Cloudflare AI Gateway (facturació unificada); les seves xifres de latència inclouen el salt de la gateway. La precisió no se'n veu afectada.
• RTF = segons de temps real de la sol·licitud ÷ segons d'àudio — com més baix, més ràpid. Mesurat des d'una sola màquina (Mac mini al Vietnam; tot el trànsit surt per un node de sortida VPN a AWS ap-northeast-1, Tòquio — Amendment 6). El mateix camí s'aplica a tots els motors, per la qual cosa la comparació relativa no es veu afectada; els valors absoluts inclouen la sobrecàrrega fixa del salt VPN. Informatiu, no un eix de classificació (§6).
• Els preus són preus de llista del proveïdor per hora d'àudio en la data d'execució. «—» vol dir que el proveïdor no té preu de llista per hora (variants de Gemini amb preu per token; AmiVoice mesurat en el seu nivell gratuït).

Reproduir / auditar

Tot és al repositori: respostes brutes de l'API per als 28.400 enunciats, normalitzadors fixats i codi de puntuació amb proves, el registre de modificacions de només afegir, i make_scores.py / make_site.py, que regeneren de manera determinista results/scores.json i aquesta pàgina — sense xifres editades a mà. Per repetir qualsevol cel·la només calen les vostres pròpies claus d'API.