Apache Flume MySQL Sink

현재 위치

Apache Flume MySQL Sink

등록일: 
2016-12-12
참여연구원: 
장규호
Apache Flume을 이용한 로그 수집 시 MySQL을 저장소로 이용할 수 있도록 Sink를 제작
목적 및 필요성: 

Apache Flume을 이용한 시스템에서 데이터 저장소로 MySQL을 이용하는 경우 데이터 저장프로세스를 이용자가 직접 제작 필요. MySQL 저장소를 이용하는 분들을 위해 연구실에서 작성한 MySQL Sink를 공개함.

기술특징: 
  • Flume에서 Sink는 Channel을 통해 수집된 데이터에 접근하고 접근한 데이터를 원하는 저장소에 저장하는 프로세스를 담당하는 역할을 담당합니다. Flumed에서 기본적으로 지원하는 저장소 이외의 방식을 이용하려면 사용자가 직접 해당 Sink를 개발해야 합니다.
  • 본 프로그램은 Channel 에서 수집된 데이터가 JSON 데이터이며 JSON 형태로 들어온 데이터를 분해하여 원하는 영역의 데이터만을 저장하도록 만들어져 있습니다.
     

     

응용분야: 
  • NoSQL 이용 시 Apache Flume을 이용하여 데이터를 수집하는 경우 MySQL을 저장소로 이용할 때 소스를 변경하여 이용 가능

해당기술 이전신청

해당기술 문의처

  • 연구책임자 : 이준우
    042-860-1840 | leejw@etri.re.kr
  • 실무담당자 : 김현진
    042-860-5951 | jini@etri.re.kr

해당기술 Git Repository