全般検索

    WEEKLY DEEP TECH BRIEFING

    週刊ディープテック・ダイジェスト

    📖 最新号サンプル・過去号一覧を見る →
    ホーム 最新記事 注目企業
    企業: 美団 AI Big Tech

    美団がゼロショットTTS「LongCat-AudioDiT」を公開

    美団がゼロショット音声クローンモデル「LongCat-AudioDiT」をオープンソース公開。Wav-VAEとDiffusion Transformerを融合した波形直結構造により中間損失を排除。わずか数秒の音声から高精度に再現する技術構造とベンチマークを解説。

    🇯🇵 日本産業対照:
    美団がゼロショットTTS「LongCat-AudioDiT」を公開

    音声合成(TTS: Text-to-Speech)技術において、わずか数秒の参照音声から話者の声質・抑揚・感情を再現する「ゼロショット音声クローン」は、長らく中間表現の劣化という壁に直面してきました。中国生活サービス大手の美団(Meituan)は2026年4月、ディフュージョンモデルを波形潜在空間に直結させた最新オープンソースTTSモデル「LongCat-AudioDiT」を発表しました。音色クローンの上限を押し広げるその技術アーキテクチャと産業的価値を解説します。

    従来型TTS(中間表現方式)の限界
    音素・メルスペクトログラム経由の情報欠落
    テキストから音素列やメルスペクトログラムを経由する多段パイプラインでは、話者固有の呼吸感や微小な声のかすれ、自然なイントネーションが途中で減衰していました。
    LongCat-AudioDiTの革新
    Wav-VAE×潜在波形ディフュージョン
    音声を2000倍圧縮するWav-VAEとDiffusion Transformerを直結。中間表現を排除し波形潜在空間で直接デノイズすることで、極めて忠実な声色再現(SIM 0.818)を達成しました。

    1. ゼロショットTTSの課題とLongCat-AudioDiTのアプローチ

    従来の音声合成システムは「テキスト ➡️ 音素列 ➡️ メルスペクトログラム ➡️ ボコーダーによる波形復元」という多段階のパイプラインに依存してきました。この中間ステップを経るごとに微細な音響特徴が失われ、合成音声特有の機械的な質感や不自然な平坦さが残る要因となっていました。

    美団が発表した「LongCat-AudioDiT」は、中間表現を全廃し、潜在波形空間で直接ディフュージョンを実行する「エンドツーエンド波形生成」を採用しています。

    モデルはパラメータ規模に応じて1B(10億)と3.5B(35億)の2種類が用意され、どちらもGitHubおよびHuggingFace上でウェイトと推論コードが完全オープンソース化されました。

    多段階の音素変換を排し、潜在波形空間で直接ディフュージョンを行うことで、話者固有の呼吸感や微細なニュアンスの欠落を根本から解消しました。

    美団 AI研究所 音声基盤モデルチーム

    2. Wav-VAEとDiT(Diffusion Transformer)の2層構造

    LongCat-AudioDiTのアーキテクチャは、極めて洗練された2つのコアモジュールで構成されています。

    1. Wav-VAE(高圧縮オーディオエンコーダー)
      24kHzの高品質音声を時間軸方向に約11.7Hzまで約2,000倍圧縮。音声波形の本質的な音響特徴を極めてコンパクトな連続潜在表現へと符号化します。
    2. DiT(Diffusion Transformer)
      圧縮された潜在表現に対し、テキスト条件と参照話者のプロンプトを注入しながら逆拡散(デノイズ)を実行。自己注意機構により、長文であっても文脈に即した自然なポーズや感情の起伏を維持します。

    さらに、従来のCFG(Classifier-Free Guidance)に代わり、生成品質と話者類似度のバランスを動的に制御する「APG(Adaptive Prompt Guidance)」を導入。声質クローンの安定性が劇的に向上しました。

    3. ベンチマーク検証:SOTA水準の音色類似度

    標準ベンチマーク「Seed」を用いた客観評価において、LongCat-AudioDiT-3.5Bは主要な競合モデルを凌駕するスコアを記録しました。

    モデル名パラメータ数Seed-ZH 類似度(SIM)Seed-Hard 類似度(SIM)オープンソース状況
    LongCat-AudioDiT3.5B0.8180.797完全公開(Apache 2.0)
    CosyVoice 3.53.0B0.8050.781一部公開
    Seed-TTS2.5B0.7980.772非公開
    MiniMax-Speech 2.6非公開0.8120.790API提供のみ

    特に難度の高い「Seed-Hard(感情起伏や方言の強いサンプル)」においても0.797という高い類似度を維持しており、わずか3〜5秒の短い音声サンプルからでも話者特有の音色を忠実にトレースできることが実証されています。

    4. オープンソース化がもたらす産業インパクト

    美団によるモデルと推論コードの完全無償公開は、音声AIのエコシステムに急速な地殻変動をもたらしています。

    • AIアシスタント・車載インフォテインメント:ドライバーや家族の声を登録するだけで、ナビゲーションや車載AIが親しみやすい肉声で案内可能に。
    • ゲーム・インタラクティブコンテンツ:膨大なセリフを要するオープンワールドゲームで、声優のサンプルから多様なバリエーションの音声を自動生成。
    • アクセシビリティ支援:病気や手術で発声機能を失うリスクのある患者が、事前に短時間の録音を行うことで「自分の声」を保存・復元。

    5. まとめ:日本市場への示唆と音声AIの未来

    高品質な声優文化やアニメ・ゲーム産業を抱える日本にとって、LongCat-AudioDiTのような高精度かつオープンな波形直結TTSの登場は、コンテンツローカライゼーションやIP活用の開発コストを激減させる起爆剤となります。

    言語の壁を超えたゼロショット音声クローン技術が成熟する中、クリエイターの権利保護と技術活用を両立させながら、次世代の音声対話体験を創出する動きが加速しています。

    よくある質問(FAQ)

    Q:LongCat-AudioDiTとはどのようなモデルですか?

    A:美団が開発したゼロショット音声クローンTTSモデルです。参照音声がわずか数秒あれば、話者の声質や抑揚を高精度に再現してテキストを読み上げることができます。

    Q:従来のTTS技術と何が違うのですか?

    A:音素やスペクトログラムといった中間表現を介さず、Wav-VAEで圧縮した潜在波形空間でDiffusion Transformerを直接駆動するため、音声情報の減衰や不自然さが排除されています。

    Q:オープンソースとして商用利用可能ですか?

    A:GitHubおよびHuggingFace上で重みと推論コードがオープンソースとして公開されており、研究・開発コミュニティで幅広く検証・利用されています。

    なお、同領域における最新の産業構造と競争力学については、本誌が検証した「目と耳を1つの頭脳に」アリババQwen2.5-Omniの衝撃および単一GPUで動くo1級思考力:アリババQwQ-32Bの現実の分析もあわせて参照されたい。

    参考資料・情報元

    +1
    リンクをコピーしました
    ✓

    執筆・編集:中国テック番犬 編集部

    孔明合同会社(KongMing LLC)/ 先端技術リサーチチーム
    10年の取材実績

    中国決済黎明期から10年以上の取材実績を持つ金融DX実務家、元IBMのエンタープライズITアーキテクト、外資系戦略コンサルティングファーム出身のビジネスアナリスト、およびAI・先端テックスタートアップ陣によって構成される専門リサーチ集団。現地の公式発表・法定開示・登記・特許・学術論文を直接精査し、日本の産業界へ向けて構造的で偏りのない客観インサイトを発信しています。

    コメント

    ...
    コメントを読み込んでいます...

    コメントを投稿する

    ※ メールアドレスは公開されません。

    💡 Googleでログインすると、お名前・メールの入力と認証コードが不要になります。