koedesk STT Bench

Meertalige spraak-naar-tekst-nauwkeurigheid, gemeten volgens een vooraf geregistreerde methodologie — Track A (FLEURS), 13 gehoste engine-varianten × 12 talen × 200 uitingen.

Hoe de tabellen te lezen

Engines worden per taal gerangschikt in gelijkstandgroepen (T1, T2, …): een engine deelt een groep wanneer een paired bootstrap (n=10.000, seed vastgelegd bij preregistratie) niet statistisch kan worden onderscheiden van de koploper van die groep (95%-BI van het gepaarde verschil bevat nul). Verschillen binnen een groep zijn statistisch niet betekenisvol — ook niet voor Scribe v2. De hoofdmetriek is CER voor Japans, Chinees en Thai, WER voor de overige negen talen; beide worden altijd getoond. Lager is beter.

Overzicht — groep per taal

“n/a” = de engine ondersteunt die taal niet (AmiVoice: alleen Japans; Voxtral: geen vi/id/th). #T1 telt het aantal talen waarin de engine in de hoogste groep staat.

Resultaten per taal — Track A (FLEURS)

Opmerkingen & bekende artefacten

• Track A gebruikt FLEURS (publieke testset), 200 uitingen × 12 talen, aan elke engine aangeleverd als hetzelfde 16-bit PCM-bestand, piek-genormaliseerd naar −6 dBFS (PREREGISTRATION §4). Publieke testsets kunnen voorkomen in trainingsdata van engines — een bekende beperking van deze resultaten, die wordt vermeld in plaats van opgelost; v1 bevat alleen Track A (Amendment 7).
• AmiVoice doet alleen mee voor Japans (§2). Mistral Voxtral dekt 9 van de 12 talen — Vietnamees, Indonesisch en Thai worden niet ondersteund door de API en worden getoond als “niet ondersteund”, niet als mislukking (Amendment 5).
• Thai kent geen woordsegmentatie; WER is er niet voor gedefinieerd (§5.6) en de kolom toont “—”. CER is de hoofdmetriek voor Thai.
• Een engine die lege tekst teruggeeft scoort als volledig deletions en wordt nooit uitgesloten (§6) — het uitsluiten van lege resultaten is de klassieke manier om een slechte engine wit te wassen.
• Gemini 2.5 Pro / Chinees bevat één uiting (zh_0192) waarbij de engine ≈4.800 tekens Engelse redeneertekst teruggaf in plaats van een transcript (finish_reason=stop, volledige respons). Gepubliceerd zoals gemeten volgens R-2.4/§7: het gedrag van de engine onder vooraf geregistreerde standaardparameters is precies waar dit om gaat. Zonder die ene uiting zou de CER van deze cel 0,0645 zijn; met de uiting 0,4834. Dit is een reëel faalpatroon van STT-engines van het LLM-type.
• 13/200 Chinese FLEURS-referenties bevatten Engelse verklaringen tussen haakjes die niet worden uitgesproken in de audio (bijv. “罗兰多·门多萨 (Rolando Mendoza)”). Dit verhoogt de CER gelijkmatig voor elke engine en heeft geen invloed op de ranking.
• De vijf Gemini-varianten worden aangeroepen via Cloudflare AI Gateway (uniforme facturering); hun latentiecijfers omvatten de gateway-hop. De nauwkeurigheid wordt hierdoor niet beïnvloed.
• RTF = wall-clock seconden van het verzoek ÷ audioseconden — lager is sneller. Gemeten vanaf één machine (Mac mini in Vietnam; al het verkeer verlaat het netwerk via een VPN-exitnode op AWS ap-northeast-1, Tokio — Amendment 6). Hetzelfde pad geldt voor elke engine, dus de relatieve vergelijking blijft ongewijzigd; de absolute waarden bevatten de vaste overhead van de VPN-hop. Informatief, geen rangschikkingsas (§6).
• Prijzen zijn de officiële prijzen van de leverancier per audio-uur op de uitvoerdatum. “—” betekent dat de leverancier geen prijslijst per uur hanteert (token-geprijsde Gemini-varianten; AmiVoice gemeten op het gratis niveau).

Reproduceren / auditeren

Alles staat in de repository: ruwe API-responsen voor alle 28.400 uitingen, vastgelegde normalizers en scoring-code met tests, het append-only wijzigingslogboek, en make_scores.py / make_site.py die results/scores.json en deze pagina deterministisch opnieuw genereren — geen handmatig bewerkte cijfers. Om een cel opnieuw uit te voeren heeft u alleen uw eigen API-sleutels nodig.