音声合成(TTS: Text-to-Speech)技術において、わずか数秒の参照音声から話者の声質・抑揚・感情を再現する「ゼロショット音声クローン」は、長らく中間表現の劣化という壁に直面してきました。中国生活サービス大手の美団(Meituan)は2026年4月、ディフュージョンモデルを波形潜在空間に直結させた最新オープンソースTTSモデル「LongCat-AudioDiT」を発表しました。音色クローンの上限を押し広げるその技術アーキテクチャと産業的価値を解説します。
1. ゼロショットTTSの課題とLongCat-AudioDiTのアプローチ
従来の音声合成システムは「テキスト ➡️ 音素列 ➡️ メルスペクトログラム ➡️ ボコーダーによる波形復元」という多段階のパイプラインに依存してきました。この中間ステップを経るごとに微細な音響特徴が失われ、合成音声特有の機械的な質感や不自然な平坦さが残る要因となっていました。
美団が発表した「LongCat-AudioDiT」は、中間表現を全廃し、潜在波形空間で直接ディフュージョンを実行する「エンドツーエンド波形生成」を採用しています。
モデルはパラメータ規模に応じて1B(10億)と3.5B(35億)の2種類が用意され、どちらもGitHubおよびHuggingFace上でウェイトと推論コードが完全オープンソース化されました。
多段階の音素変換を排し、潜在波形空間で直接ディフュージョンを行うことで、話者固有の呼吸感や微細なニュアンスの欠落を根本から解消しました。
美団 AI研究所 音声基盤モデルチーム2. Wav-VAEとDiT(Diffusion Transformer)の2層構造
LongCat-AudioDiTのアーキテクチャは、極めて洗練された2つのコアモジュールで構成されています。
- Wav-VAE(高圧縮オーディオエンコーダー)
24kHzの高品質音声を時間軸方向に約11.7Hzまで約2,000倍圧縮。音声波形の本質的な音響特徴を極めてコンパクトな連続潜在表現へと符号化します。 - DiT(Diffusion Transformer)
圧縮された潜在表現に対し、テキスト条件と参照話者のプロンプトを注入しながら逆拡散(デノイズ)を実行。自己注意機構により、長文であっても文脈に即した自然なポーズや感情の起伏を維持します。
さらに、従来のCFG(Classifier-Free Guidance)に代わり、生成品質と話者類似度のバランスを動的に制御する「APG(Adaptive Prompt Guidance)」を導入。声質クローンの安定性が劇的に向上しました。
3. ベンチマーク検証:SOTA水準の音色類似度
標準ベンチマーク「Seed」を用いた客観評価において、LongCat-AudioDiT-3.5Bは主要な競合モデルを凌駕するスコアを記録しました。
| モデル名 | パラメータ数 | Seed-ZH 類似度(SIM) | Seed-Hard 類似度(SIM) | オープンソース状況 |
|---|---|---|---|---|
| LongCat-AudioDiT | 3.5B | 0.818 | 0.797 | 完全公開(Apache 2.0) |
| CosyVoice 3.5 | 3.0B | 0.805 | 0.781 | 一部公開 |
| Seed-TTS | 2.5B | 0.798 | 0.772 | 非公開 |
| MiniMax-Speech 2.6 | 非公開 | 0.812 | 0.790 | API提供のみ |
特に難度の高い「Seed-Hard(感情起伏や方言の強いサンプル)」においても0.797という高い類似度を維持しており、わずか3〜5秒の短い音声サンプルからでも話者特有の音色を忠実にトレースできることが実証されています。
4. オープンソース化がもたらす産業インパクト
美団によるモデルと推論コードの完全無償公開は、音声AIのエコシステムに急速な地殻変動をもたらしています。
- AIアシスタント・車載インフォテインメント:ドライバーや家族の声を登録するだけで、ナビゲーションや車載AIが親しみやすい肉声で案内可能に。
- ゲーム・インタラクティブコンテンツ:膨大なセリフを要するオープンワールドゲームで、声優のサンプルから多様なバリエーションの音声を自動生成。
- アクセシビリティ支援:病気や手術で発声機能を失うリスクのある患者が、事前に短時間の録音を行うことで「自分の声」を保存・復元。
5. まとめ:日本市場への示唆と音声AIの未来
高品質な声優文化やアニメ・ゲーム産業を抱える日本にとって、LongCat-AudioDiTのような高精度かつオープンな波形直結TTSの登場は、コンテンツローカライゼーションやIP活用の開発コストを激減させる起爆剤となります。
言語の壁を超えたゼロショット音声クローン技術が成熟する中、クリエイターの権利保護と技術活用を両立させながら、次世代の音声対話体験を創出する動きが加速しています。
よくある質問(FAQ)
Q:LongCat-AudioDiTとはどのようなモデルですか?
A:美団が開発したゼロショット音声クローンTTSモデルです。参照音声がわずか数秒あれば、話者の声質や抑揚を高精度に再現してテキストを読み上げることができます。
Q:従来のTTS技術と何が違うのですか?
A:音素やスペクトログラムといった中間表現を介さず、Wav-VAEで圧縮した潜在波形空間でDiffusion Transformerを直接駆動するため、音声情報の減衰や不自然さが排除されています。
Q:オープンソースとして商用利用可能ですか?
A:GitHubおよびHuggingFace上で重みと推論コードがオープンソースとして公開されており、研究・開発コミュニティで幅広く検証・利用されています。
なお、同領域における最新の産業構造と競争力学については、本誌が検証した「目と耳を1つの頭脳に」アリババQwen2.5-Omniの衝撃および単一GPUで動くo1級思考力:アリババQwQ-32Bの現実の分析もあわせて参照されたい。
コメント
...