다성음 음원 인식 라이브러리

현재 위치

다성음 음원 인식 라이브러리

등록일: 
2016-10-18
참여연구원: 
김현진, 윤여찬, 김은주
단성음악(monophony)의 음높이는 고속 푸리에 변환(fast Fourier transform)이나 자기상관(autocorrelation) 방법으로 비교적 간단하게 추출되는 반면, 여러 음이 동시에 발음되는 경우 신뢰성이 높은 음높이를 추출하는 것은 보다 고도화된 계산방법을 필요로 합니다. “모바일 장치 환경 다성음 인식 라이브러리”는 다성음의 음높이를 정확하게 추출하는 알고리즘을 사용하여 모바일에서 실시간 구현이 가능한 기술입니다.
목적 및 필요성: 

스마트폰 및 태블릿은 전세계적으로 20억대 이상 보급되어있고, 이에따라 모바일 장치에 탑재되는 음악 분석 기술은 더욱 더 높은 사회적 파급력을 가져올 것으로 기대되고 있습니다. 현재까지는 모바일 장치가 음악을 듣고 곡명을 알아맞히거나, 주어진 리듬에 맞게 연주되었는지를 판정하는 앱들이 개발되어 있고, 이외에도 다양한 응용사례가 시도되고 있습니다. 이용자들의 요구가 고도화됨에 따라, 음악을 분석하여 유용한 정보를 추출하는 기능은 스마트콘텐츠 모바일앱의 필수 기능으로 자리잡아갈 것이기 때문에 음악 분석의 기본이 되는 다성음 인식 라이브러리를 제작하였습니다. 

기술특징: 
  • 매트릭스 연산 및 데이터 가시화 도구
    - 메모리 캐싱이 효율적으로 활용될 수 있는 범용 매트릭스 연산용 메소드들을 개발하였습니다.
    - 데이터 가시화 도구: 입력 음원의 파형과 STFT나 NMF등을 통하여 생성되는 매트릭스를 가시화하기 위해서 waveform 가시화 모듈, spectrogram 가시화 모듈, 그리고 가시화 모듈을 통합 관리하고 출력을 담당하는 visualizer를 제공합니다.
  • 다성음 인식기 인터페이스
    - 비실시간 다성음 인식기 기능을 제공합니다 
    - 실시간 다성음 인식기 기능을 제공합니다.
  • 다성음인식 라이브러리의 안드로이드 및 iOS 구현
    - 안드로이드 버전과 iOS버전의 앱을 제공하여 모바일 장치로부터 입력되는 음원의 음높이를 실시간으로 확인 할 수 있는 기능을 제공합니다.
    - 실시간으로 다성음을 인식한 결과를 PNG와 CSV 출력 파일을 제공합니다. 
응용분야: 
  • 디지타이즈된 음원으로부터 음악 정보를 검색하는 서비스
  • 사용자가 연주하는 음악을 악보로 기록하는 서비스
  • 생활소음이 있더라도 악기 튜닝을 도와주는 서비스
용어설명: 
  • 다성음악: 한 개의 선율로 구성된 음악이 아닌 여러 성부로 이루어져 서로 다른 멜로디가 함께 연주되는 음악을 말함
  • NMF(Non-negative Matrix Factorization): 음수 미포함 행렬을 두개의 음수 미포함 행렬의 곱으로 분해하는 것으로 다른 방식에 비해 상대적으로 결과 행렬을 계산하기 쉬움

해당기술 이전신청

해당기술 문의처

  • 연구책임자 : 이준우
    042-860-1840 | leejw@etri.re.kr
  • 실무담당자 : 채원석
    042-860-5728 | wschae@etri.re.kr

해당기술 Git Repository