ElevenLabs、発話タイミングに文字を対応づけるCueを発表

發生什麼事

@ElevenLabs がCueを発表した。これは強制アラインメント（forced alignment）モデルで、音声と対応する文字起こしを渡すと、音声内で各文字が現れる時刻を示す。

How your transcript knows where each word is spokenによると、Cueは長い録音を事前に分割する必要がなく、長さにかかわらず一度に処理できる。公式GPUでは、1時間の音声を約0.5秒で処理するという。公式は実際のユーザー録音でテストセットを作成し、評価した29言語すべてで、公式が比較対象にした他のツールよりCueの精度が高かったとしている。録音全体での平均時間誤差は179ミリ秒で、オープンソースのツールは283ミリ秒から6秒超だった。これらの数値は公式による測定（🗣 公式発表）。