百度のERNIE Blogによると、ERNIE-5.1-PreviewがLMArenaのText leaderboardで中国モデル首位、世界13位に入った。カテゴリ別ではMathが世界9位、Legal & Governmentが世界1位、Business / Management / Financial Opsが世界4位、Software & IT Servicesが世界7位とされている。
この発表で見るべき点は、順位そのものだけではない。百度はERNIE 5.1について、ERNIE 5.0の事前学習基盤を使いながら、総パラメータを約3分の1、アクティブパラメータを約2分の1に圧縮し、同規模モデル比で事前学習コストを約6%に抑えたと説明している。中国大手のモデル競争が、巨大化だけでなく、推論・学習コストを含めた実装効率へ寄っていることを示す材料だ。
日本の読者にとっては、LMArenaの順位をそのまま製品力と読み替えるより、百度が「ベンチマーク上の存在感」と「コスト効率」を同時に打ち出している点が重要になる。企業導入では、トップスコアよりも運用費、レイテンシ、ツール連携、データ管理のほうが効く場面が多いからだ。
Radarとしては、ERNIE 5.1がAPIやアプリ側でどの程度安定して使われるかを次に確認したい。特に、検索、文書処理、業務エージェントのような百度の既存プロダクト群に入り込むと、単なるランキングニュースではなく、中国AIの商用実装スピードを見る指標になる。
コメント
...