0 / 7 節読了

音源を分け、歌をMIDIへ変換し、映像に合わせる。音楽制作でAIに渡せる処理は増えているが、制作意図を決めることと、処理を実行することは分けて考えたい。エージェントから音楽ソフトを操作できても、出力を聴く工程まで省けるとは限らない。

イノベトピアは2026年10月31日、Claude CodeからACE Studioを操作してミュージックビデオを制作した試用を報告した。使用したのはACE Studio 2.1.9、CLI 0.18.7、筆者が契約するArtist Proという条件だ。本稿ではその観察を紹介し、公式の機能説明を踏まえて、企業の制作工程に取り入れる際の判断点を整理する。当サイトが同じ制作を再実験した結果ではない。参考報道

エージェントとの接続は、制作物への指示を操作へ変える

ACE Studioは、外部のエージェントから制作環境を扱うための入口を公開している。外部エージェント接続の公式資料で確認したいのは、単にチャットが使えるかではなく、何を入力し、どの処理を呼び、どこへ成果物を保存するかだ。音源の場所やプロジェクトの状態も、操作が成立する条件になる。

Claude Codeのような作業環境を使う場合、文章で示した目的を複数のコマンドやファイル操作へ展開できる。ただし、文章が曖昧なら誤った対象を選ぶ余地がある。「歌を分ける」という指示でも、使う音源、処理方式、出力形式、上書きの可否は別々に決める必要がある。

ここでCLIとMCPも混同しない。CLIはコマンドを使ってソフトを操作する入口であり、MCPはモデルを外部のデータやツールへつなぐための仕様である。一方があれば自動的に他方も使えるわけではない。どの経路でどの権限を与えたかを、制作記録へ残す意味がある。

元報告の価値は、完成した映像だけでなく、途中で生じた調整も示した点にある。エージェントが制作ソフトとファイルを行き来する際には、推論能力以外に、パス、処理時間、アプリの状態などが結果を左右する。

音源分離では、分かれた音を聴いて判断する

Stem Splitterの公式説明は、混ざった音源からパートを分離する機能を案内している。元報告ではProfessionalの6ステム分離を使った。ボーカルだけを扱いたい場合にも、ほかのパートへ声が残ったり、分離した声に伴奏の成分が混ざったりしていないかを確認したい。

分離されたファイルが六つ存在することは、音楽として十分な品質であることの証明にはならない。子音の輪郭、残響、ドラムの立ち上がりなどを聴く必要がある。配信向けの完成音源、分析用の参考、仮編集用の素材では、許容できる品質も違う。

業務で試すなら、原音を保存し、分離した音を別のフォルダーへ書き出すと比較しやすい。処理方式、使用した版、元ファイルを記録すれば、同じ素材で再処理した際に変化を追える。音源のファイル名だけを残すより、生成された各パートとの対応も記録したい。

音源を用意する段階では、その音楽を加工・公開できる範囲も確かめる。手元で聴ける音源であることと、分離して動画に使えることは別の条件である。AIで分離したことによって元の権利関係が消えるわけではない。

歌からMIDIへの変換は、完成した歌の再現とは違う

Vocal to MIDIの公式資料では、歌唱から編集可能な情報へ変換する機能が説明されている。元報告の日本語の曲では、208秒の素材から473のノート、53の歌詞行が得られ、筆者が4か所を手動修正したとされる。これは特定の一曲の観察であり、すべての曲で同じ精度になるという数字ではない。

また、英語の掛け声が期待どおり対応しなかった場面や、4分を超える音源を分割して扱った場面も記録された。こうした結果から読み取れるのは、変換後の編集作業が残ることだ。長さや言語、歌い方の条件が違えば、必要な修正も変わり得る。

確認対象は音高だけではない。ノートの開始と終了、長い音の区切り、歌詞と音符の対応、休符、息継ぎを順に聴く必要がある。表示上は自然なノート列でも、フレーズのまとまりが変われば、再生したときの印象は異なる。

企業の説明動画に短いジングルを使う場合を考えると、必要なのは最も多くの情報を抽出することとは限らない。どの箇所を編集可能にしたいかを先に決め、必要な部分を人が確認して採用する方が、修正範囲を把握しやすい。

なお、MIDI化された音符は元の歌手の表現を完全に保存する形式ではない。元音源との比較、必要な表現の再調整、再生結果の確認を経て、制作素材として使えるかを判断したい。

テンポ推定とプロジェクトの設定を分ける

元報告では、Sunoで設定した140 BPMに対し、クリップの解析で144.27 BPMという値が得られた。501の拍、129の小節頭候補も示されている。一方、制作プロジェクトのテンポは120のままだった。解析された音源のテンポと、編集環境のテンポが同じ値になるとは限らないことが分かる。

ここで、数字の違いをすぐに不具合と判断することも避けたい。音源が一定のテンポに完全に従っているか、解析がどの部分を拍として扱ったかなど、前提を確かめる必要がある。映像の切り替えを拍へ合わせる用途なら、最初だけでなく曲の中盤や終盤も確認し、映像とのずれが増えていないかを見る。

解析結果は、編集の出発点として使える。ただし、すべての拍に機械的にカットを置くと、歌詞やフレーズの意味と映像の流れが合わないこともある。音楽上の区切り、見せたい場面、視聴者が情報を読む時間を合わせて判断するのは、人の編集の仕事である。

処理結果を保存するときには、解析したクリップの版とタイムコードの基準も残したい。先頭の無音を後から削れば、同じ拍の時刻でも映像上の位置は変わる。生成した一覧を使い回す前に、現在の音源と一致しているかを確かめる必要がある。

音楽ソフトの外にある工程も残る

報告ではPythonやFFmpegも使い、1920×1080の横長映像と1080×1920の縦長映像を制作した。音源解析、テキストや画像の配置、書き出しは、それぞれ異なる道具が担っている。ACE Studioとエージェントの接続だけで、動画の全工程が一つの機能になったわけではない。

筆者が示した約20分、約45分という処理時間は、その機材、素材、設定での値である。自社の制作時間を見積もるなら、初回設定、生成処理、待ち時間、修正、視聴確認を分ける必要がある。処理が速くても、確認する素材が増えれば、全体の作業量は別の形で増える。

さらに、元の素材ファイルを移動した後に参照が切れ、再取り込みで対応したという記録もある。制作環境はファイルの所在に依存する。完成前のフォルダー整理や名前変更も、エージェントに任せる操作の範囲へ影響する。

実務では、原音、プロジェクト、途中の書き出し、最終納品物を対応づけて保管したい。異常が起きたときに、どこから作り直すかが分かるためだ。すべてを再生成するより、検証済みの中間成果を再利用できる方が修正を管理しやすい。

実験段階の接続を、再利用する際の確認

公式の外部エージェント接続の資料は、この機能を実験段階と明記している。コマンド、形式、使い方の慣例が更新で変わる可能性があり、すべての機能がエージェントから使えるわけではないという説明だ。このため、前回動いた手順を次の制作で使う前にも、アプリと接続部分の版を確認する必要がある。

最初の接続では、編集を始める前に、現在のプロジェクトのテンポやトラックの一覧を読み取れるかを確認するとよい。その結果が画面にある対象と一致すれば、意図した制作環境へつながっているかを確かめられる。ただし、読み取りが成功したことと、すべての書き出しや編集が正しく動くことは別の試験である。

元報告は、複数の楽曲や映像への展開を含む制作記録でもある。仕事として同じ流れを再利用するには、曲ごとの入力と出力を取り違えない管理が必要になる。曲名、素材、解析結果、映像の版を対応づけ、ある曲の歌詞やタイミングを別の曲へ混ぜないようにしたい。

担当者へ渡す際には、完成映像とともに、手動で直した箇所や未解決の箇所を記録できる。どこまでをエージェントが処理し、どこを人が確かめたかが分かれば、後の修正依頼でも作業を再開しやすい。生成したことと、確認して採用したことを分ける記録が、複数曲の制作にも役立つ。

接続できることと、自分の契約で使えることを分ける

報告はSuno MCPにも触れるが、筆者のアカウントでは利用待ちだったという。Sunoのベータ告知やヘルプで示される提供条件と、各アカウントへ実際に機能が現れることは分けて確認したい。利用回数やクレジット、段階的な提供の有無も、制作計画の条件になる。

「連携する予定の機能」を、実際に使用した工程の説明へ混ぜないことも重要だ。仕事を受ける際には、自分の契約と環境で使えた処理を基準に見積もる。未提供の機能が使える前提で、納期や品質を約束しない方がよい。

当サイトの考察として、最初の導入は短い素材に絞ると評価しやすい。音源分離、MIDI変換、拍解析、動画への配置を一度に自動化する前に、各処理の出力を人が比較し、どこを任せると効果があるかを確かめる。最終的には、横長と縦長の両方を実際に再生し、音の欠け、字幕の切れ、映像との同期、公開用ファイルの版を確認する。

制作の入口が言葉になっても、作品の意図と品質の判断は残る。運営会社のRO合同会社の情報も参照しながら、企業でAI制作を取り入れる際は、生成だけでなく確認と受け渡しまでを工程として設計したい。

参考報道:イノベトピアの制作記録。本稿の数値と試用時の観察は同記事に基づく。接続と変換機能はACE Studio、Claude Code、Suno、MCPの一次資料と区別し、導入手順の提案は当サイトの考察として記した。

柴亮太
柴亮太の視点