분석

현재 위치

NMF 라이브러리

등록일: 
2016-12-12
다성음의 음높이를 추출하는 라이브러리로 Non-negative matrix factorization에 의한 방법으로 음원을 분리하는 방법입니다.
목적 및 필요성: 

단성음의 경우 주파수와 음높이가 1:1의 상관관계를 가져서 고속푸리에변환(FFT)나 자기상관 방법으로 비교적 간단하게 음을 추출할 수 있으나 다성음의 경우에는 주파수로부터 음높이를 쉽게 측정하기가 어렵기때문에 1차원의 입력 음원의 파형을 라이브러리를 통해서 음색과 음량으로 나누어 정확하게 측정하기 위해서 필요합니다. 

기술특징: 
  • Non-negative matrix decomposition 기반 템플릿
    - 음정성분 v를 STFT(short time fourier transform)를 통해 산출하는 라이브러리 모듈을 제공합니다.
    - Non-negetive matrix factorization(NMF)에 의한 매트릭스 분해 방법을 이용하여 음색 부분과 음량을 분리합니다.
    - NMF를 통해서 음높이를 낮은 것 부터 높은것 까지 순차적으로 처리하는 방법을 사용하여 음원 학습 템플릿을 제공합니다.
  • NMF 연산 구현체 인터페이스
    - 여러 음높이에서 연주된 악기의 학습 음원들을 시간에 따라 NMF를 통해 분해하는데 분해 결과물 중 하나인 음량을 미리 학습한 매트릭스로 고정시킨 상태에서 Beta-divergence 기반 NMF 연산을 수행하는 방법을 사용합니다.
    - NMF를 통해 산출된 매트릭스를 컬러맵 이미지로 렌더링하여 png 포맷으로 출력하는 기능을 제공합니다.

스마트콘텐츠 시장 경향성 분석 기술

등록일: 
2016-10-19
참여연구원: 
김현진, 박찬우, 서정혜, 김은주
모바일 앱 마켓을 분석하여 트렌드를 파악하고 독점, 시장포화 상태 등의 경쟁상황을 진단하는 모바일 앱마켓 동향분석 서비스
기술특징: 
  • 키워드별 마켓 경쟁상황 진단
  • 한국/미국 시장 트렌드 분석
  • 관련 앱 분류 및 관련 키워드 분석
  • 마켓 주요 통계 정보 확인
  • 앱 카테고리별 트렌드 세부 분석
응용분야: 
  • 모바일 앱 마켓 시장 통계 및 동향 분석
  • 모바일 앱 기획 및 시장 분석
용어설명: 
  • 모바일 앱 마켓: 구글 플레이스토어 등 모바일 앱을 판매하는 온라인 장터
  • 키워드: 모바일 마켓에서 앱의 특성이나 기능, 분류 등을 설명할 수 있는 주요 단어
  • 시장 경향성 분석 바로가기

다성음 음원 인식 라이브러리

등록일: 
2016-10-18
참여연구원: 
김현진, 윤여찬, 김은주
단성음악(monophony)의 음높이는 고속 푸리에 변환(fast Fourier transform)이나 자기상관(autocorrelation) 방법으로 비교적 간단하게 추출되는 반면, 여러 음이 동시에 발음되는 경우 신뢰성이 높은 음높이를 추출하는 것은 보다 고도화된 계산방법을 필요로 합니다. “모바일 장치 환경 다성음 인식 라이브러리”는 다성음의 음높이를 정확하게 추출하는 알고리즘을 사용하여 모바일에서 실시간 구현이 가능한 기술입니다.
목적 및 필요성: 

스마트폰 및 태블릿은 전세계적으로 20억대 이상 보급되어있고, 이에따라 모바일 장치에 탑재되는 음악 분석 기술은 더욱 더 높은 사회적 파급력을 가져올 것으로 기대되고 있습니다. 현재까지는 모바일 장치가 음악을 듣고 곡명을 알아맞히거나, 주어진 리듬에 맞게 연주되었는지를 판정하는 앱들이 개발되어 있고, 이외에도 다양한 응용사례가 시도되고 있습니다. 이용자들의 요구가 고도화됨에 따라, 음악을 분석하여 유용한 정보를 추출하는 기능은 스마트콘텐츠 모바일앱의 필수 기능으로 자리잡아갈 것이기 때문에 음악 분석의 기본이 되는 다성음 인식 라이브러리를 제작하였습니다. 

기술특징: 
  • 매트릭스 연산 및 데이터 가시화 도구
    - 메모리 캐싱이 효율적으로 활용될 수 있는 범용 매트릭스 연산용 메소드들을 개발하였습니다.
    - 데이터 가시화 도구: 입력 음원의 파형과 STFT나 NMF등을 통하여 생성되는 매트릭스를 가시화하기 위해서 waveform 가시화 모듈, spectrogram 가시화 모듈, 그리고 가시화 모듈을 통합 관리하고 출력을 담당하는 visualizer를 제공합니다.
  • 다성음 인식기 인터페이스
    - 비실시간 다성음 인식기 기능을 제공합니다 
    - 실시간 다성음 인식기 기능을 제공합니다.
  • 다성음인식 라이브러리의 안드로이드 및 iOS 구현
    - 안드로이드 버전과 iOS버전의 앱을 제공하여 모바일 장치로부터 입력되는 음원의 음높이를 실시간으로 확인 할 수 있는 기능을 제공합니다.
    - 실시간으로 다성음을 인식한 결과를 PNG와 CSV 출력 파일을 제공합니다. 
응용분야: 
  • 디지타이즈된 음원으로부터 음악 정보를 검색하는 서비스
  • 사용자가 연주하는 음악을 악보로 기록하는 서비스
  • 생활소음이 있더라도 악기 튜닝을 도와주는 서비스
용어설명: 
  • 다성음악: 한 개의 선율로 구성된 음악이 아닌 여러 성부로 이루어져 서로 다른 멜로디가 함께 연주되는 음악을 말함
  • NMF(Non-negative Matrix Factorization): 음수 미포함 행렬을 두개의 음수 미포함 행렬의 곱으로 분해하는 것으로 다른 방식에 비해 상대적으로 결과 행렬을 계산하기 쉬움

온라인 음원 유통 라이브러리

등록일: 
2016-10-18
참여연구원: 
채원석, 장규호, 서정혜
글로벌 음원 유통의 자동화를 위한 음원 유통 표준(DDEX, UPC, ISRC 등) 기반 온라인 음원 유통 라이브러리
기술특징: 
  • 국내외 음원 식별체계 기반 범용 음원 메타데이터 생성 기술
  • 트랜스코딩 분산 처리를 통한 고음질 음원 변환 기술
  • 글로벌 유통을 위한 음원 아카이브 구축 기술
  • 빅데이터 기반의 음원 유통 로그 분석 기술
응용분야: 
  • 온라인 음원 유통 서비스
  • 관계형 음원 아카이브 구축 서비스
  • 유통 로그 분석 및 처리 서비스
용어설명: 
  • OMDL: Online Music Distribution Library로, 음원 유통, 음원 정산,유통 분석 모듈로 구성된 온라인 음원 유통 라이브러리
  • 음원 식별체계: 개별 음원에 ID 및 메타데이터를 부여함으로써 각각의 온라인 음원을 명확히 식별하는 규약

스마트콘텐츠 사용성 분석 도구 기술

등록일: 
2016-10-18
참여연구원: 
장규호, 김아영, 채원석, 박찬우
모바일 콘텐츠로부터 사용자 로그 데이터를 수집하고, 대용량 데이터에 대한 통계/시각화 정보를 제공하는 기술
목적 및 필요성: 

모바일 시장은 매년 큰 폭으로 성장하고 있습니다. 매일 수십에서 수백종의 새로운 앱이 시장에 출시될 정도로 모바일 시장의 인기는 대단히 높으며 앱 개발사의 경쟁 또한 치열합니다. 하지만 실제 이용자들의 이용형태를 분석해보면 설치 후 실행횟수가 2회 미만인 경우가 전체 앱 이용 비율중 무려 20%나 차지하고 있다고 합니다. (출처: Localytics 2014.06) 이용자에게 호응을 얻고 수익을 얻는 콘텐츠를 선별해보면 그 비율은 더욱 줄어듭니다. 경쟁이 치열하고 수익을 얻기 어려운 현재 상황에서 이러한 문제를 돌파할 수 있도록 하기 위하여 사용자의 이용패턴을 분석하고 이를 기획 및 개발 그리고 마케팅 전략 수립 시 이용해서 품질을 높여야 합니다.

기술특징: 

본 기술은 다량의 모바일 기기로부터 송신되는 대량의 이용자 로그를 실시간으로 분석하여 제공하고 있으며 다음과 같은 기능을 가지고 있습니다.

  • Activity Analysis - 활동 분석
    • 개발사별 대시보드를 제공하고 신규, 누적, 실시간 사용자 및 세션 정보 분석을 제공합니다.
    • 스마트콘텐츠의 사용자 로그정보를 일주월 등 시간의 흐름에 따라서 다양한 방식을 통해 상세하게 분석한 결과를 요약 분석하여 제공 합니다.
  • Cohort Analysis - 코호트 분석
    • 일주월 단위로 사용자 활동변화를 추적할 수 있는 재방문율(Retention)에 대한 정보를 제공합니다.
    • 가입자 중에서 재접속을 한 사용자의 재방문율을 총 활동시간, 접속횟수 등 세부 통계정보와 일주월 단위의 사용자 변화 추이의 모니터링을 제공합니다.
  • Funnel Analysis - 퍼널 분석
    • 단계별 사용자 추이를 제공하고, 실행 프로세스별 사용자 실행수에 대한 추적을 제공합니다.
    • 단계별 이탈자의 비율을 측정하고, 프로세스의 적정성이나 기능 배치의 유용성 등에 대한 검증 및 콘텐츠 제공의 목적성을 달성하기 위한 기능 개선을 제공합니다.
  • Event Analysis - 이벤트 분석
    • 기능 선호도나 메뉴 진행과정 등 개발사가 별도로 정의한 이벤트에 대한 모니터링을 제공합니다.
    • 스마트콘텐츠의 기능, 액션, 메뉴 등 개발사가 정의한 이벤트를 사용자 반응과 시간의 흐름에 대한 활용도 및 선호도에 대한 즉각적인 분석을 제공합니다.
응용분야: 
  • 모바일 앱 고객 분석 및 광고 플랫폼: 해당 기술을 적용하여 모바일 광고 플랫폼을 구축하면, 각 광고가 탑재된 앱의 실 사용자 이용 행태를 파악할 수 있고 이를 토대로 광고 효과 측정 및 성과 분석 등에 활용할 수 있습니다.
  • 마케팅 모니터링 시스템: 앱 배포 후 마케팅 전략을 수립하고 실행한 후 마케팅 전략의 성과를 측정하기 위해 이용할 수 있습니다. 신뢰성 있는 사용자 또는 타겟 사용자층을 기준으로 마케팅 효과를 구축할 수 있습니다.
용어설명: 
  • 사용성 분석: 개별 사용자의 모바일 앱 실행환경을 수집하여 모바일 앱을 언제, 어떤 기기로 실행하는지, 어떤 메뉴와 기능을 주로 사용하는 지 등을 분석하여 사용자의 앱 사용행태를 분석하는 기술
  • 사용성 분석 기술 바로가기 

비디오 자동 그룹핑 및 검색 기술

등록일: 
2016-10-18
참여연구원: 
오원근, 이승재, 이근동, 정다운
초대용량 비디오 콘텐츠 검색을 통한 중복된 비디오 제거 및 일부 구간 정보를 이용한 콘텐츠 그룹핑하는 기술
기술특징: 
  • 시공간 슬라이스 기반 대표이미지 고속 추출
  • 프레임 단위의 정밀 정합이 가능
  • 기존 기술 대비 메모리 사용량을 1/10 이하 축소
  • 비디오 특징 크기: 80KB이하(플레이 타임 1시간)
  • 비디오 고속정합 속도: 초당 10,000클립(클립정합)
  • 비디오 저속정합 속도: 초당 50클립(프레임정합)
  • 비디오 검색률: 98% 이상(판도라TV 영상 5,265,764개)
응용분야: 
  • 콘텐츠의 일부분을 이용한 비디오 콘텐츠 검색 분야
  • 비디오 중복 제거를 통한 스토리지 제어 분야
  • 비디오 전체 혹은 일부분 정보를 이용한 콘텐츠 그룹 관리
  • 비디오 콘텐츠 저작권 관리 및 필터링 분야
  • N스크린 및 클라우드 기반 비디오 검색

모바일 비주얼 검색 기술

등록일: 
2016-10-18
참여연구원: 
오원근, 이승재, 이근동, 정다운
모바일 환경에서 카메라로 획득한 영상에 관한 정보나 콘텐츠를 검색하는 핵심 및 응용 기술
기술특징: 
  • 시점 및 환경변화에 강인한 비주얼 검색 기술
  • 네트워크/디바이스 환경에 적응적인(Scalable)인 비주얼 검색 기술
  • 검색 영역에 따른 선별적 비주얼 검색 기술
  • 빠르고 정확한 검색 성능: 특징 추출 0.12초/매, 검색 속도 1.17초/매
  • 특징점 검출 및 특징 추출의 자체 기술 개발 및 특허 확보
응용분야: 
  • 도심 내 건물 검색 및 정보 제공 서비스
  • 비주얼 검색 API를 활용한 상품 검색, 게임 , 교육 등 응용 서비스
용어설명: 
  • 비주얼 위치 검색 (Visual Place Recognition): 이미지 특징 정보를 활용하여 도심 내 위치를 검색하는 기술

감성 기반 음악 추천 기술

등록일: 
2016-10-18
참여연구원: 
이승재, 박지현, 서용석
음악 신호 특징과 음악에 따른 감성 분석을 통해 개발된 자체 음악 감성 분류 모델을 이용하여 사용자가 원하는 분위기의 음악을 추 천해 주는 기술입니다.
목적 및 필요성: 

인간은 기본적으로 기분이나 분위기 따라 음악을 듣고 싶어합니다. 때문에 다양한 요구를 반영할 수 있는 음악검색 기술 필요합니다. 기존의 키워드 기반의 음악 검색은 제목, 가수 이름 등 정확한 검색어를 입력하지 못할 경우, 사용자가 원하는 음악 검색에 실패할 확률이 높았습니다. 또한 기존 음악의 카테고리 분류 기준이 장르, 발매 년도 등으로 매우 제한적 이며 전문가의 태깅 작업이 모두 필요합니다. 디지털 음악 산업의 지속 성장으로 수요가 많을 것으로 기대합니다. 

기술특징: 
  • 독자적인 음악 감정 모델
    - 2차원 감정 평면 및 감정 형용사 모델을 제공합니다.
    - 확률 모델 기반 복합 감정 정보를 제공합니다.
  • 고속 음악 신호 특징 추출 알고리즘
    - 음악 신호 특징을 통한 감정 정보 추출 지원합니다. 
    - 5분 길이의 MP3 파일에 대해 2초 내에 감정 추출할 수 있는 기능을 제공합니다.
  • 하이라이트 구간 재생 및 음악 구조 분석
    - 음악 하이라이트 구간 고속 추출 알고리즘을 개발하였습니다. 
- 신호 특징 기반 유사도 분석을 통해 음악 구조 분석합니다.
  • 음악 추천 모델 및 사용자 인터페이스
    - 감정 평면 및 형용사 기반 추천 기능을 제공합니다.
    - 두 가지 이상 감정의 복합 감정 선택 지원 viPad/PC 기반의 감성 음악 추천 플레이어를 제작하였습니다.  
응용분야: 
  • 음악 추천 서비스
  • 자동차, 가전, 매장음악 등의 부가 서비스
  • CF, 영화 등 영상 제작 시 분위기에 맞는 배경음악 자동 선곡
용어설명: 
  • 음악 감성 분류: 인간이 느끼고 표현하는 대표 감성 형용사에 부합하는 음악을 자동으로 분류하는 것

3D 스캔기반 실물의상 디지털변환 기술: Style-Scan

등록일: 
2016-10-18
참여연구원: 
손성열, 김기남, 조규성
실물의상에 대해 이기종센서를 이용한 3D 스캔 기반으로 실감체험을 지원하는 3D 디지털의상을 생성하는 기술
기술특징: 
  • 이기종센서(DSLR+RGBD)이용 3D 스캔기반 실측 3D 복원
  • 실물아이템의 3D 모델 자동 생성(OBJ형식, uvTextureMap)
  • 가상의류 피팅 지원 실감체험 속성 편집
  • 사용자 움직임에 연동한 물리기반 시뮬레이션 지원
응용분야: 
  • 가상의류 피팅 서비스
  • 3D 실사이즈/실물 확인기반 온라인 구매 서비스
  • 인체적용 대상물의 3D 디지털변환
용어설명: 
  • 3D 스캔: 실물의 3차원 외형(모양/색상) 정보를 3D 모델로 디지털화하는 작업
  • 이기종센서: 서로 다른 속성의 센서들의 장점(DSLR: 실물 색상 획득, RGBD: 실물 모양 획득)을 혼합하여 구성된 센서
  • 물리기반 시뮬레이션: 의류 등의 물체의 물리적 속성을 유사하게재현하는 기술