koedesk STT Bench

Précision de la reconnaissance vocale multilingue, mesurée selon une méthodologie pré-enregistrée — Track A (FLEURS), 13 variantes de moteurs hébergés × 12 langues × 200 énoncés.

Comment lire les tableaux

Les moteurs sont classés par langue en groupes d'égalité (T1, T2, …) : un moteur partage un palier lorsqu'un bootstrap apparié (n=10 000, graine figée lors du pré-enregistrement) ne peut pas le distinguer statistiquement du leader du palier (l'IC à 95 % de la différence appariée inclut zéro). Les différences au sein d'un même palier ne sont pas statistiquement significatives — y compris pour Scribe v2. L'indicateur principal est le CER pour le japonais, le chinois et le thaï, et le WER pour les neuf autres langues ; les deux sont toujours affichés. Plus bas est meilleur.

Vue d'ensemble — palier par langue

« n/a » = le moteur ne prend pas en charge cette langue (AmiVoice : japonais uniquement ; Voxtral : pas de vi/id/th). #T1 compte les langues où le moteur figure dans le palier supérieur.

Résultats par langue — Track A (FLEURS)

Notes et artefacts connus

• Track A utilise FLEURS (jeu de test public), 200 énoncés × 12 langues, fournis à chaque moteur sous la forme du même fichier PCM 16 bits normalisé en crête à −6 dBFS (PREREGISTRATION §4). Les jeux de tests publics peuvent figurer dans les données d'entraînement des moteurs — une limite connue de ces résultats, révélée plutôt que résolue ; la v1 ne couvre que Track A (Amendment 7).
• AmiVoice ne participe qu'en japonais (§2). Mistral Voxtral couvre 9 des 12 langues — le vietnamien, l'indonésien et le thaï ne sont pas pris en charge par l'API et sont affichés comme « non pris en charge », et non comme des échecs (Amendment 5).
• Le thaï ne comporte pas de segmentation en mots ; le WER n'y est pas défini (§5.6) et la colonne affiche « — ». Le CER est l'indicateur principal pour le thaï.
• Un moteur qui renvoie un texte vide est noté comme une suppression totale et n'est jamais exclu (§6) — exclure les réponses vides est le moyen classique de blanchir un mauvais moteur.
• Gemini 2.5 Pro / chinois inclut un énoncé (zh_0192) pour lequel le moteur a renvoyé environ 4 800 caractères de texte de raisonnement en anglais au lieu d'une transcription (finish_reason=stop, réponse complète). Publié tel que mesuré conformément à R-2.4/§7 : ce qui est mesuré, c'est le comportement du moteur sous les paramètres par défaut pré-enregistrés. Sans cet énoncé, le CER de la cellule serait de 0,0645 ; avec lui, 0,4834. Il s'agit d'un mode d'échec réel des moteurs STT de type LLM.
• 13/200 références chinoises de FLEURS intègrent des gloses anglaises entre parenthèses qui ne sont pas prononcées dans l'audio (par ex. « 罗兰多·门多萨 (Rolando Mendoza) »). Cela gonfle le CER de manière égale pour chaque moteur et n'affecte pas le classement.
• Les cinq variantes Gemini sont appelées via Cloudflare AI Gateway (facturation unifiée) ; leurs valeurs de latence incluent ce saut par la passerelle. La précision n'en est pas affectée.
• RTF = temps réel de la requête en secondes ÷ durée audio en secondes — plus bas est plus rapide. Mesuré depuis une seule machine (Mac mini au Vietnam ; tout le trafic sort via un nœud de sortie VPN sur AWS ap-northeast-1, Tokyo — Amendment 6). Le même chemin s'applique à tous les moteurs, la comparaison relative n'est donc pas affectée ; les valeurs absolues incluent le surcoût fixe du saut VPN. Donnée informative, pas un axe de classement (§6).
• Les prix sont les prix catalogue des fournisseurs par heure audio à la date d'exécution. « — » signifie que le fournisseur n'a pas de prix catalogue horaire (variantes Gemini facturées au jeton ; AmiVoice mesuré sur son offre gratuite).

Reproduire / auditer

Tout se trouve dans le dépôt : les réponses API brutes pour les 28 400 énoncés, les normaliseurs figés et le code de scoring avec ses tests, le journal d'amendements en ajout seul, ainsi que make_scores.py / make_site.py, qui régénèrent de façon déterministe results/scores.json et cette page — aucun chiffre modifié à la main. Relancer n'importe quelle cellule ne nécessite que vos propres clés API.