koedesk STT Bench — Kết quả Track A

Độ chính xác nhận dạng giọng nói đa ngôn ngữ (speech-to-text), được đo theo phương pháp đăng ký trước — Track A (FLEURS), 13 biến thể engine hosted × 12 ngôn ngữ × 200 câu nói.

Xung đột lợi ích, nói rõ ngay từ đầu: benchmark này được xây dựng và tài trợ bởi koedesk, một sản phẩm chuyển giọng nói thành văn bản sử dụng ElevenLabs Scribe v2. Chúng tôi không giả vờ trung lập — thay vào đó, mọi thứ bạn cần để nghi ngờ chúng tôi và tự chạy lại benchmark đều được công bố: phương pháp (được commit trước khi chạy các phép đo chính — xem lịch sử commit), toàn bộ phản hồi API thô (results/raw), toàn bộ mã chấm điểm, và audit điều khoản dịch vụ quyết định engine nào được phép tham gia. Nơi Scribe thua, kết quả đó vẫn được công bố không thay đổi.

v1 chỉ gồm Track A. Track A sử dụng các bộ test công khai mà engine có thể đã được huấn luyện trên đó — một giới hạn đã biết của mọi con số trên trang này, được công bố chứ không được giải quyết. Track B (audio thu mới) đã bị hủy trước khi có bất kỳ phép đo nào: các bản tham chiếu do con người tạo ra của nó không tương thích với thiết kế hoàn toàn tất định, có thể tính lại của benchmark này (Amendment 7).

Cách đọc các bảng

Các engine được xếp hạng theo từng ngôn ngữ vào các nhóm đồng hạng (T1, T2, …): một engine thuộc cùng nhóm khi phép bootstrap theo cặp (n=10.000, seed cố định từ lúc đăng ký trước) không thể phân biệt nó với engine dẫn đầu nhóm về mặt thống kê (khoảng tin cậy 95% của chênh lệch theo cặp bao gồm số không). Chênh lệch trong cùng một nhóm không có ý nghĩa thống kê — kể cả với Scribe v2. Chỉ số chính là CER cho tiếng Nhật, tiếng Trung và tiếng Thái, WER cho chín ngôn ngữ còn lại; cả hai luôn được hiển thị. Càng thấp càng tốt.

Tổng quan — nhóm hạng theo từng ngôn ngữ

Engine	ja	en	zh	ko	vi	id	th	de	fr	es	pt	ru	#T1
Gemini 3.1 Pro (preview)	T1	T1	T2	T2	T1	T1	T1	T1	T1	T1	T1	T1	10
Microsoft MAI Transcribe (Azure Speech)	T1	T2	T1	T1	T2	T2	T1	T1	T1	T1	T1	T1	9
ElevenLabs Scribe v2 được koedesk sử dụng	T1	T2	T3	T1	T2	T1	T2	T2	T1	T1	T1	T1	7
Google STT v2 (Chirp 3)	T2	T2	T3	T2	T2	T1	T1	T1	T2	T1	T1	T1	6
OpenAI gpt-4o-transcribe	T2	T1	T2	T2	T3	T2	T2	T1	T1	T1	T1	T1	6
Gemini 3.5 Flash	T2	T2	T3	T2	T2	T1	T1	T2	T2	T1	T2	T2	3
Gemini 2.5 Pro	T2	T3	T6	T2	T2	T1	T2	T3	T2	T2	T2	T1	2
Gemini 2.5 Flash	T4	T4	T6	T3	T4	T3	T2	T3	T4	T2	T3	T1	1
AmiVoice (会話_汎用)	T5	n/a	n/a	n/a	n/a	n/a	n/a	n/a	n/a	n/a	n/a	n/a	0
Deepgram Nova-3	T4	T4	T5	T6	T5	T5	T3	T4	T4	T3	T4	T4	0
Gemini 3.1 Flash-Lite	T3	T3	T5	T2	T4	T2	T2	T3	T3	T2	T2	T2	0
Mistral Voxtral Mini Transcribe V2	T3	T3	T4	T4	n/a	n/a	n/a	T2	T2	T2	T2	T3	0
OpenAI whisper-1	T4	T3	T5	T5	T5	T4	T4	T3	T3	T2	T3	T3	0

“n/a” = engine không hỗ trợ ngôn ngữ đó (AmiVoice: chỉ tiếng Nhật; Voxtral: không có vi/id/th). #T1 đếm số ngôn ngữ mà engine nằm ở nhóm hạng cao nhất.

Kết quả theo từng ngôn ngữ — Track A (FLEURS)

Tiếng Nhật chỉ số chính: CER · 200 câu nói

Nhóm hạng	Engine	CER% (95% CI)	WER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	1.91 (1.33–2.60)	2.32 (1.83–2.84)	0.22 / 0.30	$0.360	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	2.26 (1.75–2.85)	2.69 (2.20–3.20)	0.16 / 0.20	$0.220	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.49 (1.96–3.06)	2.88 (2.36–3.44)	0.75 / 1.42	—	2026-07-05
T2	Google STT v2 (Chirp 3) chirp_3	2.92 (2.35–3.52)	3.55 (2.92–4.21)	0.37 / 0.43	$0.960	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	2.96 (2.34–3.64)	3.50 (2.88–4.18)	0.09 / 0.15	$0.360	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	3.43 (2.72–4.19)	3.80 (3.13–4.50)	0.40 / 0.59	—	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	3.75 (2.77–5.04)	4.32 (3.41–5.54)	0.44 / 0.67	—	2026-07-05
T3	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	4.18 (3.41–5.02)	4.90 (4.20–5.63)	0.17 / 0.22	$0.180	2026-07-05
T3	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	4.53 (3.72–5.39)	5.41 (4.59–6.29)	0.24 / 0.35	—	2026-07-05
T4	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	5.19 (4.06–6.57)	6.43 (5.31–7.81)	0.33 / 0.49	—	2026-07-05
	OpenAI whisper-1 whisper-1	5.49 (4.67–6.36)	6.71 (5.84–7.63)	0.15 / 0.25	$0.360	2026-07-05
	Deepgram Nova-3 nova-3	5.87 (4.91–6.93)	6.70 (5.81–7.63)	0.18 / 0.25	$0.258	2026-07-05
T5	AmiVoice (会話_汎用) -a-general	7.60 (6.46–8.84)	7.96 (6.85–9.15)	0.18 / 0.23	—	2026-07-04, 2026-07-05

Tiếng Anh chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	OpenAI gpt-4o-transcribe gpt-4o-transcribe	2.18 (1.63–2.83)	1.13 (0.74–1.63)	0.10 / 0.15	$0.360	2026-07-05
T1	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.47 (1.91–3.09)	1.40 (1.03–1.82)	0.82 / 1.84	—	2026-07-05
T2	Google STT v2 (Chirp 3) chirp_3	2.68 (2.09–3.31)	1.30 (0.96–1.68)	0.41 / 0.55	$0.960	2026-07-05
	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	2.75 (2.09–3.47)	1.31 (0.94–1.72)	0.28 / 0.43	$0.360	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	2.91 (2.30–3.60)	1.55 (1.17–1.99)	0.19 / 0.27	$0.220	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	2.91 (2.29–3.60)	1.45 (1.07–1.87)	0.43 / 0.72	—	2026-07-05
T3	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	3.33 (2.68–4.05)	1.45 (1.09–1.84)	0.20 / 0.31	$0.180	2026-07-05
	OpenAI whisper-1 whisper-1	3.64 (2.98–4.36)	1.64 (1.27–2.05)	0.18 / 0.33	$0.360	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	3.66 (2.54–5.31)	2.18 (1.24–3.76)	0.51 / 0.89	—	2026-07-05
	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	3.69 (2.94–4.50)	1.75 (1.33–2.22)	0.30 / 0.54	—	2026-07-05
T4	Deepgram Nova-3 nova-3	4.74 (3.99–5.55)	2.29 (1.86–2.75)	0.20 / 0.33	$0.258	2026-07-05
T4	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	4.84 (3.46–6.67)	3.01 (1.72–4.81)	0.38 / 0.62	—	2026-07-05

Tiếng Trung (Quan thoại, giản thể) chỉ số chính: CER · 200 câu nói

Nhóm hạng	Engine	CER% (95% CI)	WER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	5.25 (3.59–7.16)	4.69 (3.67–5.77)	0.23 / 0.36	$0.360	2026-07-05
T2	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	5.74 (4.06–7.64)	5.20 (4.14–6.38)	0.95 / 1.96	—	2026-07-05
T2	OpenAI gpt-4o-transcribe gpt-4o-transcribe	5.86 (4.17–7.76)	5.35 (4.25–6.54)	0.09 / 0.16	$0.360	2026-07-05
T3	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	6.12 (4.38–8.06)	5.75 (4.59–7.01)	0.17 / 0.23	$0.220	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	6.37 (4.69–8.27)	6.29 (5.20–7.46)	0.46 / 0.73	—	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	6.65 (4.88–8.59)	6.71 (5.50–8.00)	0.40 / 0.49	$0.960	2026-07-05
T4	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	6.77 (5.01–8.72)	7.47 (6.13–8.92)	0.17 / 0.26	$0.180	2026-07-05
T5	OpenAI whisper-1 whisper-1	7.21 (5.45–9.17)	7.84 (6.55–9.20)	0.17 / 0.29	$0.360	2026-07-05
	Deepgram Nova-3 nova-3	7.47 (5.66–9.49)	8.95 (7.47–10.49)	0.18 / 0.28	$0.258	2026-07-05
	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	7.67 (5.87–9.66)	12.90 (9.89–16.33)	0.26 / 0.39	—	2026-07-05
T6	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	8.68 (6.71–10.94)	10.36 (8.61–12.41)	0.41 / 0.66	—	2026-07-05
T6	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	48.34 (5.18–137.31)	28.64 (5.74–75.51)	0.46 / 0.77	—	2026-07-05

Tiếng Hàn chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	10.08 (8.09–12.29)	4.93 (3.45–6.65)	0.16 / 0.21	$0.220	2026-07-05
T1	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	10.60 (8.53–12.81)	5.15 (3.67–6.83)	0.21 / 0.31	$0.360	2026-07-05
T2	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	11.46 (9.36–13.74)	5.30 (3.82–7.00)	0.67 / 1.32	—	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	11.49 (9.47–13.64)	5.30 (3.84–6.97)	0.37 / 0.43	$0.960	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	11.59 (9.45–13.87)	5.27 (3.80–6.96)	0.43 / 0.79	—	2026-07-05
	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	11.76 (9.69–13.94)	5.45 (3.98–7.14)	0.25 / 0.35	—	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	12.31 (10.07–14.75)	5.41 (3.89–7.16)	0.09 / 0.14	$0.360	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	12.48 (10.24–14.83)	5.72 (4.20–7.46)	0.37 / 0.64	—	2026-07-05
T3	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	13.07 (10.96–15.30)	5.82 (4.34–7.50)	0.34 / 0.56	—	2026-07-05
T4	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	15.11 (12.90–17.42)	6.09 (4.60–7.80)	0.15 / 0.21	$0.180	2026-07-05
T5	OpenAI whisper-1 whisper-1	16.92 (14.56–19.36)	6.62 (5.12–8.34)	0.15 / 0.24	$0.360	2026-07-05
T6	Deepgram Nova-3 nova-3	22.09 (18.80–25.49)	9.27 (7.45–11.27)	0.17 / 0.25	$0.258	2026-07-05

Tiếng Việt chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.11 (1.58–2.70)	1.13 (0.81–1.47)	0.86 / 1.75	—	2026-07-05
T2	Google STT v2 (Chirp 3) chirp_3	2.72 (2.14–3.37)	1.51 (1.17–1.89)	0.38 / 0.44	$0.960	2026-07-05
	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	2.95 (2.34–3.61)	1.58 (1.17–2.05)	0.21 / 0.31	$0.360	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	3.08 (2.38–3.88)	1.71 (1.28–2.18)	0.40 / 0.60	—	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	3.11 (2.48–3.79)	1.74 (1.36–2.15)	0.17 / 0.21	$0.220	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	3.49 (2.21–5.19)	2.18 (1.03–3.81)	0.46 / 0.82	—	2026-07-05
T3	OpenAI gpt-4o-transcribe gpt-4o-transcribe	3.55 (2.86–4.30)	1.99 (1.56–2.45)	0.09 / 0.12	$0.360	2026-07-05
T4	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	4.28 (3.44–5.19)	2.32 (1.82–2.89)	0.24 / 0.34	—	2026-07-05
T4	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	4.90 (3.93–6.00)	2.86 (2.05–3.96)	0.33 / 0.52	—	2026-07-05
T5	Deepgram Nova-3 nova-3	9.10 (7.64–10.71)	5.10 (4.04–6.39)	0.17 / 0.26	$0.258	2026-07-05
T5	OpenAI whisper-1 whisper-1	9.60 (8.40–10.85)	4.54 (3.91–5.21)	0.17 / 0.27	$0.360	2026-07-05

Tiếng Indonesia chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	Rỗng	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Google STT v2 (Chirp 3) chirp_3	1.79 (1.29–2.37)	0.58 (0.38–0.83)	0	0.38 / 0.46	$0.960	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	2.03 (1.45–2.66)	0.76 (0.48–1.09)	0	0.16 / 0.22	$0.220	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.05 (1.46–2.68)	0.78 (0.50–1.12)	0	0.64 / 1.09	—	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	2.08 (1.49–2.71)	0.68 (0.45–0.93)	0	0.50 / 0.83	—	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	2.31 (1.69–2.98)	0.91 (0.57–1.31)	0	0.40 / 0.59	—	2026-07-05
T2	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	2.44 (1.80–3.10)	0.83 (0.56–1.13)	0	0.26 / 0.42	—	2026-07-05
	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	2.87 (1.75–4.53)	1.33 (0.51–2.81)	0	0.23 / 0.34	$0.360	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	2.92 (2.24–3.65)	1.12 (0.77–1.53)	0	0.09 / 0.14	$0.360	2026-07-05
T3	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	3.44 (2.66–4.28)	1.03 (0.72–1.38)	0	0.34 / 0.52	—	2026-07-05
T4	OpenAI whisper-1 whisper-1	6.72 (5.63–7.85)	2.04 (1.60–2.50)	0	0.15 / 0.26	$0.360	2026-07-05
T5	Deepgram Nova-3 nova-3	8.31 (7.01–9.68)	2.52 (1.86–3.30)	1	0.17 / 0.26	$0.258	2026-07-05

Tiếng Thái chỉ số chính: CER · 200 câu nói

Nhóm hạng	Engine	CER% (95% CI)	WER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	3.91 (3.10–4.80)	—	0.23 / 0.37	$0.360	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	5.14 (3.73–6.97)	—	1.05 / 1.99	—	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	5.17 (3.73–7.00)	—	0.40 / 0.52	$0.960	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	5.26 (3.74–7.22)	—	0.48 / 0.88	—	2026-07-05
T2	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	5.48 (4.04–7.33)	—	0.18 / 0.27	$0.220	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	5.55 (4.29–7.07)	—	0.11 / 0.17	$0.360	2026-07-05
	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	5.67 (4.20–7.53)	—	0.37 / 0.67	—	2026-07-05
	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	5.70 (4.19–7.60)	—	0.26 / 0.44	—	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	5.94 (4.22–8.11)	—	0.49 / 0.91	—	2026-07-05
T3	Deepgram Nova-3 nova-3	8.39 (6.82–10.34)	—	0.18 / 0.31	$0.258	2026-07-05
T4	OpenAI whisper-1 whisper-1	12.08 (10.64–13.69)	—	0.21 / 0.36	$0.360	2026-07-05

Tiếng Đức chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	OpenAI gpt-4o-transcribe gpt-4o-transcribe	2.21 (1.63–2.85)	0.67 (0.45–0.91)	0.09 / 0.16	$0.360	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.26 (1.72–2.85)	0.75 (0.52–1.02)	0.59 / 1.13	—	2026-07-05
	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	2.26 (1.67–2.87)	0.70 (0.47–0.96)	0.21 / 0.34	$0.360	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	2.64 (2.07–3.25)	0.72 (0.53–0.93)	0.37 / 0.48	$0.960	2026-07-05
T2	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	2.80 (2.20–3.41)	0.98 (0.67–1.35)	0.17 / 0.27	$0.220	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	2.93 (2.30–3.60)	0.99 (0.70–1.34)	0.34 / 0.63	—	2026-07-05
	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	3.20 (2.48–3.98)	0.81 (0.61–1.04)	0.15 / 0.25	$0.180	2026-07-05
T3	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	3.58 (2.80–4.43)	0.95 (0.72–1.21)	0.24 / 0.43	—	2026-07-05
	OpenAI whisper-1 whisper-1	3.87 (3.05–4.73)	1.20 (0.88–1.57)	0.15 / 0.26	$0.360	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	3.98 (2.75–5.58)	1.71 (0.71–3.27)	0.41 / 0.72	—	2026-07-05
	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	4.18 (3.29–5.16)	1.06 (0.81–1.34)	0.32 / 0.53	—	2026-07-05
T4	Deepgram Nova-3 nova-3	5.86 (4.75–7.07)	2.57 (1.80–3.51)	0.17 / 0.26	$0.258	2026-07-05

Tiếng Pháp chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	3.43 (2.81–4.09)	1.04 (0.83–1.28)	0.25 / 0.37	$0.360	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	3.45 (2.74–4.20)	1.19 (0.92–1.47)	0.81 / 1.54	—	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	3.55 (2.83–4.28)	1.13 (0.88–1.41)	0.10 / 0.15	$0.360	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	3.90 (3.20–4.60)	1.40 (1.09–1.72)	0.18 / 0.27	$0.220	2026-07-05
T2	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	4.21 (3.48–4.99)	1.64 (1.32–1.98)	0.45 / 0.80	—	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	4.40 (3.56–5.27)	1.42 (1.11–1.75)	0.55 / 1.03	—	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	4.60 (3.72–5.52)	1.45 (1.14–1.77)	0.40 / 0.52	$0.960	2026-07-05
	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	4.91 (4.08–5.79)	1.55 (1.26–1.85)	0.17 / 0.27	$0.180	2026-07-05
T3	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	5.24 (4.30–6.23)	1.79 (1.43–2.17)	0.28 / 0.50	—	2026-07-05
T3	OpenAI whisper-1 whisper-1	6.03 (5.13–6.97)	1.97 (1.63–2.33)	0.19 / 0.33	$0.360	2026-07-05
T4	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	6.77 (5.48–8.36)	2.50 (1.81–3.53)	0.39 / 0.65	—	2026-07-05
T4	Deepgram Nova-3 nova-3	7.57 (6.39–8.81)	2.75 (2.26–3.26)	0.19 / 0.30	$0.258	2026-07-05

Tiếng Tây Ban Nha chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	OpenAI gpt-4o-transcribe gpt-4o-transcribe	1.53 (1.07–2.05)	0.56 (0.38–0.78)	0.09 / 0.12	$0.360	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	1.61 (1.13–2.16)	0.60 (0.41–0.81)	0.64 / 1.02	—	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	1.63 (1.12–2.24)	0.61 (0.40–0.85)	0.17 / 0.22	$0.220	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	1.63 (1.21–2.08)	0.52 (0.38–0.69)	0.38 / 0.44	$0.960	2026-07-05
	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	1.67 (1.24–2.12)	0.59 (0.43–0.78)	0.22 / 0.31	$0.360	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	1.76 (1.29–2.28)	0.62 (0.44–0.83)	0.36 / 0.50	—	2026-07-05
T2	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	2.11 (1.42–3.02)	0.97 (0.49–1.83)	0.45 / 0.66	—	2026-07-05
	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	2.17 (1.58–2.80)	0.72 (0.50–0.96)	0.16 / 0.22	$0.180	2026-07-05
	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	2.30 (1.76–2.89)	0.74 (0.55–0.95)	0.24 / 0.34	—	2026-07-05
	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	2.34 (1.84–2.87)	0.72 (0.55–0.89)	0.33 / 0.51	—	2026-07-05
	OpenAI whisper-1 whisper-1	2.70 (2.08–3.40)	0.78 (0.59–1.00)	0.15 / 0.26	$0.360	2026-07-05
T3	Deepgram Nova-3 nova-3	3.99 (3.09–5.05)	1.39 (1.04–1.78)	0.17 / 0.25	$0.258	2026-07-05

Tiếng Bồ Đào Nha (Brazil) chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	2.34 (1.79–2.93)	1.10 (0.78–1.43)	0.15 / 0.20	$0.220	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	2.40 (1.81–3.06)	0.83 (0.59–1.10)	0.09 / 0.13	$0.360	2026-07-05
	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	2.53 (1.95–3.14)	0.91 (0.68–1.16)	0.20 / 0.29	$0.360	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.61 (2.01–3.24)	1.06 (0.76–1.39)	0.68 / 1.13	—	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	2.63 (2.05–3.22)	0.90 (0.68–1.15)	0.37 / 0.44	$0.960	2026-07-05
T2	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	3.02 (2.34–3.73)	0.99 (0.75–1.26)	0.44 / 0.67	—	2026-07-05
	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	3.31 (2.69–3.99)	1.08 (0.85–1.33)	0.15 / 0.22	$0.180	2026-07-05
	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	3.41 (2.66–4.20)	1.14 (0.87–1.44)	0.23 / 0.34	—	2026-07-05
	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	3.80 (2.80–5.08)	1.86 (1.08–3.12)	0.34 / 0.53	—	2026-07-05
T3	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	3.92 (3.20–4.70)	1.35 (1.06–1.68)	0.32 / 0.47	—	2026-07-05
T3	OpenAI whisper-1 whisper-1	3.94 (3.19–4.75)	1.26 (1.00–1.54)	0.15 / 0.25	$0.360	2026-07-05
T4	Deepgram Nova-3 nova-3	5.47 (4.52–6.49)	2.12 (1.66–2.61)	0.16 / 0.22	$0.258	2026-07-05

Tiếng Nga chỉ số chính: WER · 200 câu nói

Nhóm hạng	Engine	WER% (95% CI)	CER% (95% CI)	Rỗng	RTF p50/p90	$ / giờ audio	Ngày chạy
T1	Microsoft MAI Transcribe (Azure Speech) mai-transcribe-1.5	2.22 (1.66–2.84)	0.66 (0.44–0.91)	0	0.23 / 0.35	$0.360	2026-07-05
	Google STT v2 (Chirp 3) chirp_3	2.37 (1.56–3.35)	0.90 (0.41–1.67)	1	0.40 / 0.48	$0.960	2026-07-05
	Gemini 3.1 Pro (preview) google-ai-studio/gemini-3.1-pro-preview	2.45 (1.75–3.29)	1.12 (0.61–1.80)	0	0.83 / 1.44	—	2026-07-05
	Gemini 2.5 Pro google-ai-studio/gemini-2.5-pro	2.74 (1.95–3.66)	1.12 (0.59–1.83)	0	0.49 / 0.76	—	2026-07-05
	ElevenLabs Scribe v2 được koedesk sử dụng scribe_v2	2.77 (2.02–3.63)	1.22 (0.75–1.79)	0	0.18 / 0.24	$0.220	2026-07-05
	Gemini 2.5 Flash google-ai-studio/gemini-2.5-flash	2.82 (2.14–3.59)	0.91 (0.60–1.28)	0	0.37 / 0.59	—	2026-07-05
	OpenAI gpt-4o-transcribe gpt-4o-transcribe	2.85 (1.88–4.04)	0.93 (0.51–1.47)	0	0.10 / 0.14	$0.360	2026-07-05
T2	Gemini 3.5 Flash google-ai-studio/gemini-flash-latest	2.93 (2.24–3.69)	1.17 (0.80–1.60)	0	0.41 / 0.67	—	2026-07-05
T2	Gemini 3.1 Flash-Lite google-ai-studio/gemini-3.1-flash-lite	3.01 (2.22–3.87)	0.90 (0.58–1.29)	0	0.27 / 0.39	—	2026-07-05
T3	Mistral Voxtral Mini Transcribe V2 voxtral-mini-2602	3.72 (2.94–4.55)	1.18 (0.82–1.60)	0	0.17 / 0.24	$0.180	2026-07-05
T3	OpenAI whisper-1 whisper-1	3.80 (3.00–4.66)	1.08 (0.78–1.43)	0	0.17 / 0.28	$0.360	2026-07-05
T4	Deepgram Nova-3 nova-3	4.51 (3.57–5.58)	1.67 (1.17–2.24)	0	0.19 / 0.29	$0.258	2026-07-05

Ghi chú & hiện tượng đã biết

Tái lập / kiểm toán

Mọi thứ đều nằm trong repository: phản hồi API thô cho toàn bộ 28.400 câu nói, các bộ chuẩn hóa (normalizer) và mã chấm điểm đã được đóng băng kèm test, nhật ký sửa đổi chỉ thêm (append-only), và make_scores.py / make_site.py tái tạo results/scores.json và trang này một cách xác định — không có con số chỉnh tay. Chạy lại bất kỳ ô nào chỉ cần API key của chính bạn.