koedesk STT Bench

Повеќејазична точност на препознавање говор во текст, мерена според однапред регистрирана методологија — Track A (FLEURS), 13 хостирани варијанти на системи × 12 јазици × 200 искази.

Како да ги читате табелите

Системите се рангираат по јазик во групи на изедначени (T1, T2, …): систем дели ниво (tier) кога паровен bootstrap (n=10.000, семето фиксирано при преддефинирање на методологијата) не може статистички да го разликува од лидерот на тоа ниво (95% CI на паровната разлика вклучува нула). Разликите во рамки на исто ниво не се статистички значајни — вклучително и за Scribe v2. Клучната метрика е CER за јапонски, кинески и тајландски, а WER за преостанатите девет јазици; и двете секогаш се прикажани. Помало е подобро.

Преглед — ниво по јазик

„n/a” = системот не го поддржува тој јазик (AmiVoice: само јапонски; Voxtral: без vi/id/th). #T1 ги брои јазиците во кои системот е во највисоко ниво.

Резултати по јазик — Track A (FLEURS)

Забелешки и познати артефакти

• Track A користи FLEURS (јавно тест-множество), 200 искази × 12 јазици, доставени до секој систем како идентична 16-битна PCM датотека со врвна нормализација на −6 dBFS (PREREGISTRATION §4). Јавните тест-множества можат да се појават во податоците за тренирање на системите — познато ограничување на овие резултати, откриено наместо решено; v1 ја опфаќа само Track A (Amendment 7).
• AmiVoice учествува само за јапонски (§2). Mistral Voxtral покрива 9 од 12 јазици — виетнамскиот, индонезискиот и тајландскиот не се поддржани од API-то и се прикажани како „не е поддржано”, а не како неуспех (Amendment 5).
• Тајландскиот нема сегментација на зборови; WER не е дефиниран за него (§5.6), а неговата колона прикажува „—”. CER е клучната метрика за тајландски.
• Систем што враќа празен текст се бодува како целосно бришење и никогаш не се исклучува (§6) — исклучувањето празни резултати е класичен начин да се прикрие лош систем.
• Gemini 2.5 Pro / кинески вклучува еден исказ (zh_0192) во кој системот вратил ≈4.800 знаци текст на образложение на англиски наместо транскрипт (finish_reason=stop, комплетен одговор). Објавено како измерено според R-2.4/§7: се мери однесувањето на системот под однапред регистрирани стандардни параметри. Без тој единствен исказ, CER на ќелијата ќе беше 0,0645; со него е 0,4834. Ова е реален начин на неуспех кај STT системи од LLM-тип.
• 13/200 кинески референци на FLEURS содржат англиски појаснувања во загради што не се изговорени во аудиото (на пр. „罗兰多·门多萨 (Rolando Mendoza)”). Ова подеднакво го зголемува CER за секој систем и не влијае на рангирањето.
• Петте варијанти на Gemini се повикуваат преку Cloudflare AI Gateway (обединето наплаќање); нивните вредности за латенција го вклучуваат тој дополнителен мрежен чекор. Точноста не е засегната.
• RTF = секунди реално време на барањето ÷ секунди аудио — помалку е побрзо. Мерено од еден компјутер (Mac mini во Виетнам; целиот сообраќај излегува преку VPN излезен јазол на AWS ap-northeast-1, Токио — Amendment 6). Истата патека важи за секој систем, па релативната споредба не е засегната; апсолутните вредности го вклучуваат фиксниот дополнителен трошок на VPN-скокот. Информативно, не оска на рангирање (§6).
• Цените се официјални ценовници (list price) на добавувачот по аудио-час на датумот на извршување. „—” значи дека добавувачот нема ценовник по час (Gemini варијантите се наплаќаат по токен; AmiVoice мерен на неговото бесплатно ниво).

Репродукција / ревизија

Сè се наоѓа во репозиториумот: необработени API одговори за сите 28.400 искази, замрзнати нормализатори и код за оценување со тестови, дневник на измени само за додавање и make_scores.py / make_site.py кои детерминистички ги регенерираат results/scores.json и оваа страница — без рачно уредувани броеви. За повторно извршување на која било ќелија потребни се само ваши сопствени API клучеви.