Musicians"にもとづいています今年も残すところわずかとなりましたが、皆さんはいかがお過ごしでしょうか。私にとっては思いの外実りの多い一年となりました。その割にブログが更新できていないことを心残りに思い書き始めるという、例年通りのパターンです。「機械学習の民主化をどこまで推し進めることができるのか」をテーマに、私もこれまで様々な業界におけるAI技術の導入を行ってきましたが、AI技術の事業・社会実装はますます進んで来ていて、MLOpsという言葉を聞くことも多くなってきました。精度の高い機械学習モデルを単発で作るのではなく、実世界において継続的にAIを利用していくための仕組みや技術もだいぶ成熟してきた感があります。2年前にConnpass上で立ち上げたMLOpsコミュニティーも3500人以上のメンバーまで成長し、関心の高さが伺えます。モデルを使うユーザーのリテラシーが低ければ低いほどMLOpsの役割は大きくなりますし、AIを使っているということを意識せずとも高い価値を提供してくれるAIシステムを構築することこそ目指す姿と言えますが、9月にこのブログでも取り上げた画像生成AIにおいては、リテラシーレベルの全く無いユーザーでも、AIを使って極めて面白いアウトプットを得ることができる例を示しました。これによって生成AIは幅広いユーザーにものすごい勢いで使い倒され、プロンプトエンジニアリングというAIとの新しいインターフェースを生み出しました。生成型AIを使った音楽パフォーマンスQosmoでは、特に音楽・サウンド分野での生成型AI技術に取り組んできました。音楽の生成型AIはテキストや画像分野における生成モデルほど決定的な結果がまだ出ていないのが現状とも言えますが、テキストや画像と比べ、表現におけるパフォーマンスの重要性が非常に大きく、リアルタイムなMLOpsの役割は他のモダリティーよりも高いと言えます。DJというプロジェクトを発展させ、生成型AIを使ったリアルタイムパフォーマンスに取り組んできました。AIがMIDIで生成したドラムパターンとベースラインにその場で音をアサインし、それぞれをミックスする中で音楽的展開をつい繰り出していく。Rhythmのシステムを解説したビデオを貼ります(その後このプロジェクトは更に進化し、今年のMUTEKでその集大成を演じました。DJ#2のパフォーマンスの裏側を語った動画これまでAIによる音楽の生成の多くは特にデータや処理速度の問題からMIDIという符号ベースの学習・推論が行われてきましたが、ここ数年でそれも変わりつつあります。昨年IRCAMから発表されたRAVEやGoogleのMagentaチームから発表されたDDSPはCPUを使って48kHzという高品質でリアルタイムのオーディオ生成に成功しています。Transfer”)を行うモデルで、入力音がどのような音でも、ターゲットとする音に変換するという面白い特徴を持っています。このようなバイオリンの入力音を:RAVEモデルを使って人間の声に変えるとこのようなアウトプットを得ることができますまた、同じくバイオリンのこのような入力音を:尺八を使って学習させたDDSPモデルを使うことで、このような出力音に変換できますこのようなスタイル変換技術は、音楽パフォーマンスにおける表現力を大きく広げる可能性を持っている一方で、AIモデルを生身のミュージシャンが使うためにはまだ高い障壁が存在し、リアルタイムのパフォーマンスで使えるインターフェースは存在していませんでした。ミュージシャンがAIモデルを使うには高い障壁があったミュージシャンがAIモデル操るためのMLOpsそこで私のチームでは、音楽制作・パフォーマンスを行うクリエーターが使う音楽制作プラットフォーム(DAWと呼ばれる)でリアルタイムにPyTorchのAIモデルを呼び出すためのプラグイン型アプリケーションのNeutoneを今年の頭から開発し、リリースしました:このプラグインはオーディオのインプットに対してオーディオのアウトプットを行うあらゆるPyTorchモデルをDAWの中でリアルタイムに使うことができるという点において革新的ですが、「ミュージシャンのためのMLOps」を実現するために、難易度の高い開発も求められました。深層学習モデルは学習時に前提としているバッファーサイズとサンプリングレートで推論を行うことしかできないという制約があるのですが、DAWやユーザー側の設定は必ずしもその設定で行われるとは限らないため、プラグイン側でそのギャップを埋めるだめのDSP処理を行う必要がありました。この辺はテーブルデータの機械学習モデルでも、推論時に特徴量の定義が変わってしまったというようなMLOps上の問題と同等です。Neutoneは、プラグインの内部からクラウド上のモデルレポジトリーにある様々なモデルを切り替えて使える設計になっており、Qosmoからも音色変換モデルを中心に様々なモデルを作り公開してきました。喋り声、コーラス、お経など、様々な声に変換できるモデルなどはユニークな結果を得られることで定評を得ることができました。GPU環境でモデルを回すことのできる一部のハイエンドユーザーにモデルづくりの手法を手ほどきするためのワークショップなども今年のAIMC2022カンファレンスなどで複数回開催してきました。現時点では既出のRAVE及びDDSPのアーキテクチャーに基づくモデルがほとんどとなっていますが、これらのモデルの短所も見えてきました。これらのモデルはどんな入力音でも対象アウトプットに音色を変換してくれることを目的としていますが、出力音とあまりにもかけ離れた入力音だとあまり良い結果が得られないことなどです。この問題はMLOps的に言うと「データドリフト」に相当する問題ですが、入力音にピッチシフトやEQなどの前処理をかませることで、いくらかは改善できるということもわかってきました。嬉しいことにこの取組は世界的にも注目され、オーディオ開発者の集う世界最大級のカンファレンスであるADCにおいて発表枠をもらうことができました。Mitcheltreeがオンサイトで発表してくれました。いう賞も受賞することができました。2022を受賞したシバタプロフェッショナルミュージシャンとNeutoneの共演このように、音楽という分野においてMLOpsを実現し、グローバルにも評価を得ることができたわけですが、最終的にはミュージシャンやクリエーターがNeutoneを使ってどのような表現をすることができるようになるのかこそが重要な結果です。Neutoneの表現における可能性を探るために、私達はニューヨーク在住のキーボードプレーヤーのBIGYUKIさんと一緒に制作を行ってきました。ヒップホップ・レジェンドのQティップなどとも共演したことのあるBIGYUKIさんは、初めて触ったときからその類まれなフィーリングでNeutoneを使いこなしてくれました。2022そして、12月にはついにこれまでのコラボレーションの集大成として、代官山UNITでのコンサートにてNeutoneを大きくフィーチャーしたパフォーマンスを実現してくれました。超満員の会場で多くの観客がBIGYUKIさんの演奏するNeutoneの音を聞き感動している姿は、MLOpsが実現する人間とAIの新たな可能性を示していました。クリエイティブ領域など幅広い分野にて、これまで数百社に及ぶ国内外企業のデータ・AIの利活用を実現してきた。Biasesの日本カントリーマネージャー。その他数社の社外取締役・顧問などを務める。right”検索:上部にキーワードを入力し、リターンキーを押して検索を開始してください。キーをお使いください。(必須)サイト%d人のブロガーが「いいね」をつけました。