オーディオファイルを分離する

  • 色々なパートが入っている音楽データをMIDIに変換したい。
  • オーディオファイルをパート毎に分離することでMIDI化する時の精度が上がる。
  • オーディオファイルを高精度に分解する手法が今は色々ある。

Demucs Music Source Separation

GitHub - facebookresearch/demucs: Code for the paper Hybrid Spectrogram and Waveform Source Separation

Code for the paper Hybrid Spectrogram and Waveform Source Separation - GitHub - facebookresearch/demucs: Code for the paper Hybrid Spectrogram and Waveform Source Separation

  • Mac用のGUI版もある

Releases · CarlGao4/Demucs-Gui

A GUI and CUDA memory optimizing project based on demucs - CarlGao4/Demucs-Gui

Demucsは音楽のドラム、ベース、ボーカルを分離することができるモデルです。最新版のHybrid Transformer Demucs（v4）は、Transformersを使用してスペクトログラム/波形の両方の分離に対応し、SDRが9.20 dBに達しました。このモデルは、MUSDB HQデータセット+800曲の追加のトレーニングデータセットでトレーニングされています。Hybrid Transformer Demucsを使用するには、コマンドで- n htdemucs_ftを使用する必要があります。6つの音源モデルも提供されていますが、ピアノソースの品質が悪いことが報告されています。

オーディオパートをMIDIに変換

spotifyのBasic Pitchが使える

GitHub - spotify/basic-pitch: A lightweight yet powerful audio-to-MIDI converter with pitch bend detection

A lightweight yet powerful audio-to-MIDI converter with pitch bend detection - GitHub - spotify/basic-pitch: A lightweight yet powerful audio-to-MIDI converter with pitch bend detection

Spotifyが開発した無料のオーディオからMIDIに変換するツールBasic Pitchを試してみましょう。録音した音楽をアップロードすると、自動的にMIDIファイルが生成され、お気に入りのDAWで修正できます。

ピアノ音源の場合はbytedanceの「piano_transcription」がオススメ！

ピアノの耳コピはもうAIに任せられる。チート級解析フリーソフトByteDance「Piano Transcription」使い方解説 | ロゴスとレンマのI/O

はじめに 対象読者・想定読者 楽譜が欲しいピアノ曲があるが、楽譜が売ってない(CDなどの音源はある) 楽曲解析したいピアノ曲があるが、1から耳コピはしんどい ソルフェージュ練習でピアノ曲を耳コピしたので答え合わせがしたい この記事でわかるこ

GitHub - bytedance/piano_transcription

Contribute to bytedance/piano_transcription development by creating an account on GitHub.

GitHub - qiuqiangkong/piano_transcription_inference

Contribute to qiuqiangkong/piano_transcription_inference development by creating an account on GitHub.

Google colabで使う場合

Google Colaboratory