Lyricsは2019年夏にarXivに投稿されたNII(国立情報学研究所)の研究で,LSTM-GANで歌詞のテキストデータからのMIDIの生成を行うものです。(シラブル)に切り分けられ,各音節に対してMIDIノートが割り振られます。休符があった場合はその直後のデータにRestとして加えられる。xi_rest}の3次元の系列となり,楽曲の長さはこのdurationとrestの合計となる。(再生される時の長さはその時のBPMに依存する)楽曲のデータ楽曲サンプルの各次元の分布(音程・長さ・休符の長さ)は以下のようになっています。この分布からランダムにデータをサンプリングした後に,指定されたスケールに対して補正をかける生成プロセスをベースラインの生成モデルとして定義しています。モデルのアーキテクチャLSTMを用いて系列データのエンコード・デコードを行います。入力データに単語レベルと音節レベルの両方の埋め込みベクトルを用いることで表現力の向上を図っており,全歌詞データに対しての単語レベルと音節レベルのSkip-Gramモデルをそれぞれ学習し,それぞれ10次元のベクトル化。それらをConcatして20次元のconditionとしています。sampling)となります。8:1:1でデータを分割し,SGD(η=0.01から減少)で学習を回します。351エポック学習したタイミングで生成されたMIDIに対し,ボランティア被験者によるMIDIパターンの音楽的要素の評価を行います。well?それに加え,定量的な基準も策定し,評価を行います。比較を行うことで,生成モデルの精度の評価を行います。学習が進むにつれ,音数も増え,より「楽曲らしく」なっていると言えます。学習を進めるにつれて表現も自然なものに近づくことが,楽譜から確認できます。ベースラインモデルよりも生成されたパターンの音楽的要素はテストデータに近い分布となっていることが確認できます。ボランティアからの評価もベースラインモデルより高い。異なった歌詞では異なった分布からMIDIのノートが選ばれており,異なったスケール,曲調のMIDIパターンが生成されていることが確認できます。これにより,歌詞から抽出された意味的な情報を元にMIDIを生成していることが分かります。ランダムにした場合に生成されるデータの分布が大きく異なることから,音楽的な表現が単語列/音節列から獲得されていることが示されています。Lyricsでは単に系列変換によるメロディの生成だけではなく,生成されるメロディの定性的・定量的な評価基準を明確に決め,それらの分析と「歌詞情報に基づいて生成されているかどうか」の評価を的確に行っています。音楽変換に関する研究に大きな貢献をされています。learningvaevideowavenetwebwebglwebsite。