koedesk STT Bench

Akurasi speech-to-text multibahasa, diukur menggunakan metodologi yang telah didaftarkan sebelumnya — Track A (FLEURS), 13 varian engine hosted × 12 bahasa × 200 ucapan.

Cara membaca tabel

Engine diberi peringkat per bahasa ke dalam kelompok setara (T1, T2, …): sebuah engine berada dalam kelompok yang sama ketika paired bootstrap (n=10.000, seed dikunci saat preregistration) tidak dapat membedakannya secara statistik dari pemimpin kelompok tersebut (CI 95% dari selisih berpasangan mencakup nol). Perbedaan di dalam satu kelompok tidak bermakna secara statistik — termasuk untuk Scribe v2. Metrik utamanya adalah CER untuk bahasa Jepang, Mandarin, dan Thai, serta WER untuk sembilan bahasa lainnya; keduanya selalu ditampilkan. Semakin rendah semakin baik.

Ringkasan — kelompok per bahasa

“n/a” = engine tidak mendukung bahasa tersebut (AmiVoice: hanya bahasa Jepang; Voxtral: tidak ada vi/id/th). #T1 menghitung jumlah bahasa di mana engine berada di kelompok teratas.

Hasil per bahasa — Track A (FLEURS)

Catatan & artefak yang diketahui

• Track A menggunakan FLEURS (test set publik), 200 ucapan × 12 bahasa, dikirim ke setiap engine sebagai file PCM 16-bit identik yang dinormalisasi puncaknya ke −6 dBFS (PREREGISTRATION §4). Test set publik mungkin muncul dalam data pelatihan engine — keterbatasan yang diketahui pada hasil ini, diungkapkan alih-alih diselesaikan; v1 hanya mencakup Track A (Amendment 7).
• AmiVoice hanya berpartisipasi untuk bahasa Jepang (§2). Mistral Voxtral mencakup 9 dari 12 bahasa — bahasa Vietnam, Indonesia, dan Thai tidak didukung oleh API dan ditampilkan sebagai “tidak didukung”, bukan sebagai kegagalan (Amendment 5).
• Bahasa Thai tidak memiliki segmentasi kata; WER tidak terdefinisi untuknya (§5.6) dan kolomnya menampilkan “—”. CER adalah metrik utama untuk bahasa Thai.
• Engine yang mengembalikan teks kosong dinilai sebagai all-deletions dan tidak pernah dikecualikan (§6) — mengecualikan hasil kosong adalah cara klasik untuk mencuci bersih engine yang buruk.
• Gemini 2.5 Pro / Mandarin memiliki satu ucapan (zh_0192) di mana engine mengembalikan ≈4.800 karakter teks penalaran berbahasa Inggris, bukan transkrip (finish_reason=stop, respons lengkap). Dipublikasikan sesuai hasil pengukuran menurut R-2.4/§7: perilaku engine di bawah parameter default yang telah didaftarkan sebelumnya adalah hal yang sedang diukur. Tanpa ucapan tunggal itu, CER sel ini adalah 0.0645; dengan itu, 0.4834. Ini adalah mode kegagalan nyata dari engine STT bertipe LLM.
• 13/200 referensi bahasa Mandarin FLEURS menyertakan glos bahasa Inggris dalam tanda kurung yang tidak diucapkan dalam audio (misalnya “罗兰多·门多萨 (Rolando Mendoza)”). Ini meningkatkan CER secara setara untuk setiap engine dan tidak memengaruhi peringkat.
• Lima varian Gemini dipanggil melalui Cloudflare AI Gateway (penagihan terpadu); angka latensinya mencakup hop gateway tersebut. Akurasi tidak terpengaruh.
• RTF = detik wall-clock request ÷ detik audio — semakin rendah semakin cepat. Diukur dari satu mesin (Mac mini di Vietnam; seluruh traffic keluar melalui VPN exit node di AWS ap-northeast-1, Tokyo — Amendment 6). Jalur yang identik berlaku untuk setiap engine, sehingga perbandingan relatif tidak terpengaruh; nilai absolut mencakup overhead tetap dari hop VPN. Bersifat informasional, bukan sumbu peringkat (§6).
• Harga adalah harga daftar vendor per jam audio pada tanggal jalan. “—” berarti vendor tidak memiliki harga daftar per jam (varian Gemini yang berbasis token; AmiVoice diukur pada tingkat gratisnya).

Reproduksi / audit

Semuanya ada di repository: respons API mentah untuk seluruh 28.400 ucapan, normalizer dan kode penilaian yang telah dikunci lengkap dengan test, log amandemen append-only, serta make_scores.py / make_site.py yang meregenerasi results/scores.json dan halaman ini secara deterministik — tanpa angka yang diedit manual. Menjalankan ulang sel mana pun hanya memerlukan API key Anda sendiri.