koedesk STT Bench

Ακρίβεια πολύγλωσσης μετατροπής ομιλίας σε κείμενο, μετρημένη σύμφωνα με μια προκαταχωρημένη μεθοδολογία — Track A (FLEURS), 13 φιλοξενούμενες παραλλαγές μηχανών × 12 γλώσσες × 200 εκφωνήματα.

Πώς να διαβάσετε τους πίνακες

Οι μηχανές κατατάσσονται ανά γλώσσα σε ομάδες βαθμίδας (T1, T2, …): μια μηχανή μοιράζεται μια βαθμίδα όταν μια ζευγαρωτή bootstrap (n=10.000, με σπόρο κλειδωμένο κατά την προκαταχώρηση) δεν μπορεί να τη διακρίνει στατιστικά από την αρχηγό της βαθμίδας (το 95% διάστημα εμπιστοσύνης της ζευγαρωτής διαφοράς περιλαμβάνει το μηδέν). Οι διαφορές εντός μιας βαθμίδας δεν είναι στατιστικά σημαντικές — ούτε καν για το Scribe v2. Η κύρια μετρική είναι το CER για ιαπωνικά, κινέζικα και ταϊλανδέζικα, και το WER για τις άλλες εννέα γλώσσες· εμφανίζονται πάντα και τα δύο. Χαμηλότερο σημαίνει καλύτερο.

Επισκόπηση — βαθμίδα ανά γλώσσα

Το «n/a» σημαίνει ότι η μηχανή δεν υποστηρίζει τη συγκεκριμένη γλώσσα (AmiVoice: μόνο ιαπωνικά· Voxtral: όχι vi/id/th). Το #T1 μετρά τις γλώσσες στις οποίες η μηχανή βρίσκεται στην κορυφαία βαθμίδα.

Αποτελέσματα ανά γλώσσα — Track A (FLEURS)

Σημειώσεις και γνωστά τεχνουργήματα

• Το Track A χρησιμοποιεί το FLEURS (δημόσιο σύνολο δοκιμών), 200 εκφωνήματα × 12 γλώσσες, τα οποία παραδίδονται σε κάθε μηχανή ως πανομοιότυπο αρχείο PCM 16-bit, κανονικοποιημένο σε κορυφή στα −6 dBFS (PREREGISTRATION §4). Τα δημόσια σύνολα δοκιμών ενδέχεται να εμφανίζονται στα δεδομένα εκπαίδευσης των μηχανών — έναν γνωστό περιορισμό αυτών των αποτελεσμάτων, ο οποίος γνωστοποιείται και όχι επιλύεται· η v1 περιλαμβάνει μόνο το Track A (Amendment 7).
• Η AmiVoice συμμετέχει μόνο για τα ιαπωνικά (§2). Το Mistral Voxtral καλύπτει 9 από τις 12 γλώσσες — τα βιετναμέζικα, τα ινδονησιακά και τα ταϊλανδέζικα δεν υποστηρίζονται από το API και εμφανίζονται ως «μη υποστηριζόμενο», όχι ως αποτυχίες (Amendment 5).
• Τα ταϊλανδέζικα δεν έχουν τμηματοποίηση λέξεων· το WER δεν ορίζεται γι' αυτά (§5.6) και η στήλη τους εμφανίζει «—». Το CER είναι η κύρια μετρική για τα ταϊλανδέζικα.
• Μια μηχανή που επιστρέφει κενό κείμενο βαθμολογείται ως πλήρεις διαγραφές και δεν εξαιρείται ποτέ (§6) — η εξαίρεση κενών αποτελεσμάτων είναι ο κλασικός τρόπος συγκάλυψης μιας κακής μηχανής.
• Το Gemini 2.5 Pro / κινέζικα περιλαμβάνει ένα εκφώνημα (zh_0192) στο οποίο η μηχανή επέστρεψε ≈4.800 χαρακτήρες αγγλικού κειμένου συλλογισμού αντί για απομαγνητοφώνηση (finish_reason=stop, πλήρης απόκριση). Δημοσιεύεται όπως μετρήθηκε σύμφωνα με R-2.4/§7: αυτό που μετράται είναι η συμπεριφορά της μηχανής υπό τις προκαταχωρημένες προεπιλεγμένες παραμέτρους. Χωρίς αυτό το ένα εκφώνημα, το CER του κελιού θα ήταν 0,0645· με αυτό, 0,4834. Αυτό είναι ένα πραγματικό μοτίβο αποτυχίας για μηχανές STT τύπου LLM.
• 13 από τις 200 κινεζικές αναφορές του FLEURS περιέχουν αγγλικές επεξηγήσεις σε παρένθεση που δεν εκφωνούνται στον ήχο (π.χ. «罗兰多·门多萨 (Rolando Mendoza)»). Αυτό διογκώνει το CER εξίσου για κάθε μηχανή και δεν επηρεάζει την κατάταξη.
• Οι πέντε παραλλαγές Gemini καλούνται μέσω του Cloudflare AI Gateway (ενοποιημένη χρέωση)· οι τιμές καθυστέρησής τους περιλαμβάνουν το βήμα του gateway. Η ακρίβεια δεν επηρεάζεται.
• RTF = χρόνος πραγματικού ρολογιού του αιτήματος σε δευτερόλεπτα ÷ διάρκεια ήχου σε δευτερόλεπτα — χαμηλότερο σημαίνει ταχύτερο. Μετρημένο από ένα μηχάνημα (Mac mini στο Βιετνάμ· όλη η κίνηση εξέρχεται μέσω κόμβου εξόδου VPN στην AWS ap-northeast-1, Τόκιο — Amendment 6). Η ίδια διαδρομή ισχύει για κάθε μηχανή, οπότε η σχετική σύγκριση δεν επηρεάζεται· οι απόλυτες τιμές περιλαμβάνουν το σταθερό επιπλέον κόστος του άλματος VPN. Ενημερωτικό, όχι άξονας κατάταξης (§6).
• Οι τιμές είναι οι επίσημες τιμές καταλόγου των προμηθευτών ανά ώρα ήχου κατά την ημερομηνία εκτέλεσης. Το «—» σημαίνει ότι ο προμηθευτής δεν διαθέτει τιμή καταλόγου ανά ώρα (παραλλαγές Gemini με χρέωση ανά token· η AmiVoice μετρήθηκε στο δωρεάν επίπεδο).

Αναπαραγωγή / έλεγχος

Τα πάντα βρίσκονται στο αποθετήριο: ακατέργαστες αποκρίσεις API για όλα τα 28.400 εκφωνήματα, κλειδωμένα εργαλεία κανονικοποίησης και κώδικας βαθμολόγησης με δοκιμές, το ημερολόγιο τροποποιήσεων μόνο προσθήκης, καθώς και τα make_scores.py / make_site.py που αναδημιουργούν αιτιοκρατικά το results/scores.json και αυτή τη σελίδα — χωρίς χειροκίνητα επεξεργασμένους αριθμούς. Η επανεκτέλεση οποιουδήποτε κελιού απαιτεί μόνο τα δικά σου κλειδιά API.