Separation of music signal sources

本稿では複数の楽器による混合音源をスペクトル包絡保存に基づく NMF によって個別の楽器の音響信号に分離する方法を提案する.我々の手法は近しい音高であればそのスペクトル包絡が周波数方向にシフトするという調波音の一般 的な特徴に基づいたものであり,各々の楽器の演奏可能なあらゆる中心周波数において基底を設け,隣接した基底についてその包絡が近似するよう制約を行うこ とで分離を行う.この操作は各々の楽器の音色を特徴として成分を分離することに相当し,教師なし学習での調波・非調波混合音源の分離を可能とする.性能評 価実験として MIDI での混合演奏音源を分離し,SNR を求めた結果リードギターについて約 3.6dB,ドラムについて 6.0dB の分解能を得ることができた.

This  research  proposes  a  method  to  separate  polyphonic music signal into  signals of  each  musical instrument by NMF: Non-negative Matrix Factorization based on preservation of spectrum envelope. Sound source separation is taken as a fundamental issue in music signal processing and NMF is becoming common  to  solve  it  because  of  its  versatility  and compatibility with  music  signal  processing.  Our  method  bases  on  a  common feature of harmonic signal: spectrum envelopes of musical signal in close pitches played by the harmonic music instrument would be similar. We estimate power spectrums of each instrument by NMF with restriction to synchronize spectrum envelope of bases which  are  allocated  to  all  possible  center  frequencies  of  each instrument. This manipulation means separation of components which  refers  to  tones  of  each  instrument  and  realizes  both  of separation without pre-training and separation of signal including harmonic  and  non-harmonic  sound.  We  had  an  experiment  to decompose mixture sound signal of MIDI instruments into each instrument  and  evaluated  the  result  by  SNR  of  single  MIDI instrument sound signals and separated signals. As a result, SNR of lead guitar and drums approximately marked 3.6 and 6.0 dB and showed significance of our method.

main.dvi
▲Figure 1: Proposed Model of Separating Musical Signal Sources by NMF

▲分離前のスペクトログラム

▲分離後のスペクトログラム

論文

  1. [PDF] [NMF] Sakurako Yazawa, Masatoshi Hamanaka, Takehito Utsuro; “A Novel Approach to Separation of Musical Signal Sources by NMF”, The 12th IEEE International Conference on Signal Processing, Oct 2014.
  2. [LINK] [NMF] 浅川智瑛, 浜中雅俊: “スペクトル包絡保存に基づくNMFによる音源分離”, 情報処理学会 音楽情報科学研究会, 2014-MUS-102, No.16, 6 pages, Feb 2014.
  3. [NMF] 浅川智瑛, 浜中雅俊: “ポピュラー音楽におけるギターソロの採譜支援システム”,情報処理学会 音楽情報科学研究会, 2012-MUS-94, No.28, 5 pages, Feb 2012.