快訊 · 台北時間

ElevenLabs 推出 Cue 對齊模型,把每個字元對到說出口的時間

一句重點:字幕、逐字稿和音訊的時間點會對得更準,開發者也能單獨透過 API 使用。

發生什麼事

@ElevenLabs 發表 Cue,這是強制對齊(forced alignment)模型:給它一段音訊和對應的文字稿,它會標出每個字元在音訊裡出現的時間。

依How your transcript knows where each word is spoken,Cue 不必先把長錄音切段,再長的檔案都一次處理完;在官方的 GPU 上,一小時音訊大約半秒就能對完。官方用真實使用者的錄音建立測試集,Cue 在 29 種受測語言都比官方測過的其他工具準,完整錄音的平均時間誤差是 179 毫秒,開源工具則從 283 毫秒到超過 6 秒不等。這些數字都是官方自己測的(🗣 自述)。

01參考來源