90以上の言語でオリジナルの話者の感情・トーン・ペースを維持しながらコンテンツと同期する音声AI「Dubbing v2」をElevenLabsがリリース – GIGAZINE

Googleの元エンジニアが立ち上げたAI企業のElevenLabsが、音声吹き替えモデルの「Dubbing v2」をリリースしました。

Dubbing v2のご紹介：革新的な新しいダビングモデル
https://elevenlabs.io/ja/blog/introducing-dubbing-v2

Dubbing v2はオリジナルの話者の感情や表現をそのまま再現するモデルで、言語が変わっても違和感なく聞き続けられることが特徴です。

以下の動画ではYouTuberのMrBeastが話す言葉などがさまざまな言語に翻訳されています。声の雰囲気はもちろん、テンポや話し方などもオリジナルに非常に良く似せられています。カエルのアニメーションでは日本語も登場し、全く違和感のない発音で吹き替えが行われます。

ElevenLabsは「オリジナルの話者の感情や表現が、どの言語でもそのまま伝わります。従来のように平坦でつながりのないオーディオを生成するのではなく、元のパフォーマンスに直接基づいて生成するため、トーンやテンポ、話し方、感情までがしっかりと再現されます。AI吹き替えで長年解決できなかった問題を解決し、翻訳された音声が本当に本人が話しているように感じられるようになります」と紹介しました。

ElevenLabsによると、従来のAI吹き替えシステムはテキストを基にした「台本」に大きく依存していたとのこと。これだと正確な翻訳はできても人間らしい自然な話し方や本人のニュアンスなどが失われがちでした。

Dubbing v2は話者本人のパフォーマンスを直接くみ取ることでイントネーションやトーンを捉え、言語を超えて再現します。その結果、より自然で表現豊かな吹き替えが実現し、オリジナルの話し方にも忠実になりました。

単なる直訳ではなく、言語ごとに自然に聞こえるフレーズやリズム、文の構成を考慮し、話し言葉として自然に聞こえるよう翻訳を調整しつつ、元のコンテンツとの同期を保つのが特徴。同期を意識した翻訳システムにより、開始や終了、テンポを自動で合わせるため、手動で調整する手間が減り、プロのダビングに近い仕上がりになります。

ElevenLabsは「プロのダビングは1分あたり数万円かかることもあり、翻訳者や声優、編集者、音響エンジニアなど多くの工程が必要です。Dubbing v2なら、このプロセスを自動化できます。クリエイターや企業は、複雑なワークフローや複数の業者との調整なしで、高品質な多言語コンテンツを作成できます」と伝えました。

Dubbing v2は「ElevenCreative」と「ElevenProductions」で利用可能。APIとしても後日利用できるようになります。

実際に試したユーザーは「良さそうだけど値段を見てびっくり。月額22ドル(約3500円)で9分間の吹き替えだって」と感想を投稿しました。