YuE2は楽譜から歌へ、編集可能な音楽生成と評価・利用条件

修正したいことを、楽譜に残す

YuE2は約36億パラメータのモデルで、標準ではABC記譜法というテキスト形式の楽譜を作る。旋律とコードを計画する設定、旋律だけの設定、楽譜の計画を挟まない設定がある。一つの生成バックボーンが楽譜、意味トークン、音響の潜在表現を扱い、別のVAEが音声へ復号する。

この構成では、生成した譜面を保存して人が直すことや、別のエージェントに修正を依頼して、変更した譜面を再びモデルへ渡すことができる。公式デモでは、複数回の変更を重ねた制作例と、その際の会話や歌詞、楽譜を確認できる。試行の結果だけでなく、変更した箇所を見られる点が重要だ。

もっとも、譜面を書き換えたからすべての音が厳密に固定されるとは限らない。再生成では歌唱や編曲の細部が変わりうる。編集を支援する仕組みと、従来の録音編集ソフトで波形の一部分だけを置き換える操作を同一視しないほうがよい。どの要素を残したいかを決め、その条件が出力で守られたかを聴いて確認する工程は残る。

既存曲らしさと、新しいスタイル

開発元のカバー生成評価では、原曲由来の譜面を与えた条件と、与えない条件を比較している。楽譜を与えた条件では、曲の同一性を測る指標が大きく高くなった。一方で、指定した新しいスタイルへの適合や音楽性の指標が、譜面なしの条件で高く出る場合もある。

この結果は、譜面を使うことが常にすべての面で優れるという主張ではない。曲の特徴を保つ制約が、別の曲調へ大きく変える自由度に影響するという関係を示している。作曲や研究の目的に応じて、保持したい要素と変えたい要素の優先順位を決める必要がある。

またカバーを生成できる機能があっても、元の楽曲や録音を使う権利が自動的に与えられるわけではない。手元の音源を使えるか、公開や販売まで許諾されているかは別の確認だ。技術デモの存在を、そのまま利用許諾の根拠にはできない。

「Sunoを上回る」の条件を残す

研究チームのWildSongBenchは192のプロンプトで構成される。公表されたSongBench平均は、YuE2の標準設定が6.7316、best-of-8が6.9632。比較表のSuno v5は6.8721、Suno v6は6.5562だった。ここで最も大切なのは、一回生成して得た曲だけを並べた比較ではないことだ。

YuE2の標準設定は2候補から発音誤り率の低い候補を選び、best-of-8は8候補から複数の自動指標で選ぶ。候補を増やすと探索に使う計算量と時間も変わる。高いほうの値だけを取り出して、毎回その品質が得られると説明することはできない。

比較の手順も一様ではない。9月12日の更新ではSuno v6などが加わり17設定となったが、以前の商用システムについては提供された候補の条件を引き継ぐなど、すべてのモデルで生成回数や選び方を完全にそろえたわけではない。v6の点数がv5より低いことから、世代更新で品質が下がったと断定するのも早い。

評価は自動指標が中心で、人が聴き比べた満足度そのものではない。開発チームはブラインドの試聴評価への参加も呼びかけている。機械が測りやすい発音や指示への適合だけでなく、曲としての自然さ、好み、長く聴いたときの違和感も別に確認する余地がある。

コードと重みで条件が異なる

モデルの重みはCC BY-NC 4.0で公開され、非商用の条件が付く。コードやドキュメントなどはApache 2.0とされている。オープンに入手できることと、商用の制作にそのまま使えることは区別したい。初代YuEのライセンスを知っていても、後継モデルへ同じ条件を当てはめられない。

重みの利用条件と、生成物の扱いについて明示された条件も混同できない。公開資料から、あらゆる出力の商用利用が問題ないと保証することはできない。業務で使う場合は、重み、使用するコード、入力音源、歌詞、公開先の規約をそれぞれ確認する必要がある。

学習については、CC0の音楽と合成データを中心とする34.6万時間を使い、合成データの大半はTokenwave.AIからライセンスを得たと説明されている。この開示は判断材料になるが、利用者が持ち込む素材の権利まで解決するものではない。

中間データがあると、比較の理由を残せる

制作記録を残す際、音源だけでは、どの指示が何を変えたかを後から説明しにくい。譜面という中間表現があれば、狙った旋律やコードの変更と、音源側に生じた変化を対応させやすくなる。共同制作では、感覚的な「もう少し違う音」という依頼を、確認可能な修正へ近づけられる可能性がある。

ただし、ABC記譜法を扱えることと、音楽の判断を自動で行えることは同じではない。指示した要素が譜面へ反映されたか、その譜面が歌唱と伴奏へどう表れたかを分けて確認する必要がある。編集可能な中間工程は、確認を省く仕組みというより、確認する場所を増やせる設計と考えるほうが実態に近い。

計算費用も、最終的に採用した一曲だけでは測れない。best-of-8のような選び方では、採用しなかった候補の生成や評価にも資源を使う。商用サービスの料金と比較する場合も、手元のGPUを動かす費用、環境の保守、聴き比べる人の時間まで含めると、同じ仕事を完了する条件に近づけられる。

日本語と実行環境は、自分の用途で確かめる

WildSongBenchの内訳は中国語94問、英語98問である。日本語のデモがあることと、日本語の品質が同じ方法で定量評価されたことは異なる。日本語の歌詞で検証するなら、語の区切り、読み、長いフレーズでの発音などを人が確認し、英語中心の点数だけで採用を決めないほうがよい。

公式の導入条件はLinux、Python 3.10以上、BF16に対応する24GBのNVIDIA GPUと、24GBの空きホストRAMを基本としている。GPUだけでなく実行環境の整備も必要だ。現行カードには速度測定もあるが、初回の準備や保存を除いた条件などを確認して読む必要がある。

編集部としては、最初に自作または許諾済みの短い課題を用意し、同じ種と指示で編集前後の譜面と音源を保存する方法が適していると考える。狙った変更と意図しない変化を分けて確認できるからだ。YuE2の価値は、一度の生成で完成品を当てることだけでなく、変更を説明しながら制作を進められる可能性にある。

運営会社とAI活用の相談先はRO合同会社。参考報道：イノベトピアのYuE2解説。数値は開発元の報告で、本サイトによる音質の実測評価ではない。