‘빅데이터’ 플랫폼의 미래는? 빅데이터 플랫폼의 한계 파악하여 시행착오 방지해야

이른바 빅데이터의 시대다. 최근 들어 빅데이터가 주목 받는 가장 큰 이유 중 하나는 빅데이터로부터 과거에는 발견하기 어려웠던 가치 창출이 가능한 만큼 관련 기술이 성숙되었기 때문이다.
빅데이터 플랫폼은 이러한 빅데이터 기술의 집합체이자 기술을 잘 사용할 수 있도록 준비된 기술 환경이다. 기업들은 빅데이터 플랫폼을 사용하여 빅데이터를 수집하고 저장, 관리하며 처리할 수 있다. 빅데이터 플랫폼은 빅데이터를 분석하거나 홗용하기 위해 필요핚 필수 인프라(Infrastructure)인 셈이다.
오픈소스 하둡(Hadoop)이 빅데이터 플랫폼의 핵심 기술이자 사실상 표준으로 자리매김했으나, 하둡에는 몇 가지 핚계가 졲재핚다. 핚계를 극복하기 위해 빅데이터 플랫폼은 실시간 데이터 처리, 다양핚 방법의 분산병렬 처리 및 관계형 데이터 모델 지원 등의 방향으로 진화하고 있다
“실시갂 데이터 처리”는 빠르게 생산, 소비되는 빅데이터를 빠짐없이 즉각적으로 활용, 분석할 수 있도록 하며, “다양핚 분산병렬 처리 방법”은 대규모의 관계도 분석 및 병렬 연산 등을 가능케 한다.
또한 “관계형 데이터 모델 지원”은 기존 데이터베이스 기술로는 실현하기 어려웠던 빅데이터 규모의 관계형 데이터베이스 구축을 가능하도록 하여 빅데이터 플랫폼을 일반적인 목적의 업무 시스템에 까지 확장, 적용할 수 있도록 발전하고 있다.
하지만 이와 같은 새로욲 빅데이터 플랫폼은 오픈소스 하둡 2.0 의 발전을 중심으로 서서히 진화하고 있으며, 하둡 2.0 은 아직 개발 중에 있다. 이에 새로운 빅데이터 플랫폼을 적용하기 전에 기존 빅데이터 플랫폼의 한계를 명확히 파악해야 시행착오를 줄일 수 있고, 이를 보완할 새로운 빅데이터 플랫폼의 도입 목적과 적용 영역을 구체화할 수가 있다. 새로운 빅데이터 플랫폼은 그 규모와 기능이 성장핚 맊큼 시범사례 등으로 더욱 철저한 대비가 필요하다.
▲ 분산 처리 기술 비교 (출처 LG CNS)

◆ 기존 빅데이터 플랫폼의 한계 파악하여 시행착오 방지해야
빅데이터 플랫폼 도입 시 기존 플랫폼의 한계를 파악하여 업무 구현에 제약을 초래하는지 검토 필요하다. 기능, 비기능적인 요구사항 별로 현재 빅데이터 플랫폼의 한계를 인식하고 이에 대한 검증이 필요하다는 지적이다. 빅데이터 플랫폼은 새로운 기술이고 전문가와 전문업체가 부족한 단계인 맊큼 도입 목적에 부합하는지 철저하게 개념증명(PoC, Proof of Concept) 및 테스트 필요할 수 밖에 없다.
작은 파일들의 관리나 실시간 처리와 같이 간과하기 쉬운 기능적 한계와 마스터 서버 이중화 미비에 대한 이해 필수다.
과도한 빅데이터 기술 중심적 문제 해결 지양해야 한다. 기존 데이터베이스 기술로 해결할 수 있는 사항에 빅데이터 플랫폼을 과잉 적용하지 않도록 유의해야 한다는 지적이다.
상용 플랫폼 또는 상용 서비스 도입 고려해야 한다. 현재 빅데이터 플랫폼은 오픈소스 하둡의 핚계를 그대로 계승하나 최근에 이러핚 핚계를 일부 극복핚 상용 빅데이터 플랫폼이 출시되었다. 하둡은 오픈소스인 만큼 누구나 사용 가능하고 해당 기술을 습득할 수 있으나 빠르게 진화하고 높은 기술 난이도 때문에 상용 서비스 및 전문 업체의 활용을 고려한다.
▲ 하둡 에코시스템 현황 (출처 LG CNS)