2018년 빅데이터 기술 전망..."머신러닝, 실무에 적용된다"

한승균 기자 / 전자공학 박사

2017-12-20 12:35:00

[빅데이터뉴스 한승균 기자]
클라우드 데이터를 위한 단일 플랫폼을 제공하는 맵알 테크놀러지(지사장 이진구, MapR Technologies, 이하 맵알)의 테드 더닝(Ted Dunning) 최고 애플리케이션 아키텍트가 2018년 7가지 주요 빅데이터 기술 동향 및 전망을 발표했다.

분석 및 빅데이터 관리의 혁신은 비즈니스가 급격한 데이터의 증가를 관리할 뿐만 아니라 데이터 가치를 극대화할 수 있도록 한다. IDC에 따르면 기하급수적으로 데이터의 양이 증가함에 따라 의미 있는 데이터의 비중이 2013년 22%에서 2020년 37%로 증가할 것이다.
사진=Clipartkorea
사진=Clipartkorea

머신러닝, '기술 트렌드'에서 '실제 업무에 적용하는 기술'로 전환
이제 머신러닝은 점점 비즈니스에서 범용적으로 활용될 전망이다. 인공지능(AI)에 대한 관심뿐만 아니라 머신러닝에 대한 관심이 더욱 높아져, 머신러닝의 접근 범위 또한 광범위해지고 있으며 다양한 산업의 기업들에 가치 있는 인사이트를 전달하게 될 것이다.

머신러닝 성공의 90%는 (알고리즘 또는 모델이 아닌) 실행 계획
효과적인 아키텍처와 전략적인 계획 수립을 통해 여러 머신러닝 툴을 기반으로 하는 다양한 시스템으로 애플리케이션 보다는 플랫폼 수준에서 모든 것을 관리할 수 있게 될 것이다. 즉, 매번 새로운 프로젝트를 위해 새로운 실행 계획을 구상할 필요가 없어질 것이다. 이처럼 효율적인 머신 러닝 실행 계획에 대한 중요성이 점점 높아지고 있다. 또한 조직 전체에 스트림 기반 아키텍처와 글로벌 데이터 패브릭에 대한 요구사항이 증가할 것이다.

신속한 쿠버네티스 도입을 통해 멀티-클라우드 환경 구축을 위한 기반 마련
쿠버네티스가 성공할 것이라 전망하지만 이미 쿠버네티스(Kubernetes)의 도입 속도가 점점 가속화되고 있기 때문에 전망이 아닌 시장의 현황이라고 할 수 있다. 아직 많은 기업들이 쿠버네티스를 클라우드 내에서 컴퓨팅을 관리하고 오케스트레이션(orchestration)하는 툴로 인식하고 있다.

그렇지만 향후 1년 내에 쿠버네티스는 프라이빗과 퍼블릭을 포함하는 모든 클라우드 환경에서 컴퓨팅을 관리 및 오케스트레이션하고자 하는 진보된 기업들에 의해 점점 더 많이 사용될 것이다.

기업의 핵심 요소가 되는 빅데이터 시스템(글로벌 데이터 패브릭 구현)
빅데이터는 기업의 주요 자산이 됐으며, 기업들이 비즈니스를 데이터 중심으로 접근하고 있다. 이러한 변화는 데이터 규모, 스토리지, 운영 및 분석 접근 등을 포함하는 빅데이터 시스템이 기업의 핵심 요소가 될 수 있도록 지원한다.

비즈니스는 사일로를 분해하고 수많은 소스를 통해 데이터에 대해 포괄적으로 접근해 진정한 멀티-테넌트 시스템을 위한 컴퓨팅이 가능한 글로벌 데이터 패브릭을 구현하는 방법을 찾게 될 것이다.

데이터 흐름을 데이터 패브릭으로 결합
2018년에는 더욱 많은 기업들이 컴퓨팅을 단순히 데이터베이스에 위치해 있는 데이터가 아닌 데이터 흐름으로 인식하게 될 것이다. 점점 데이터베이스는 데이터 흐름의 협력자 및 보완 역할을 하게 될 것이다. 2018년 새로운 트렌드는 쿠버네티스와 같은 툴을 사용해 멀티-클라우드 컴퓨팅에 사용하지 않는 데이터와 사용 중인 데이터를 모두 제공하는 데이터 패브릭을 구현하는 것이다.

민첩성 향상을 위한 핵심적인 조직 차원의 접근인 데이터옵스(DataOps)
데이터 과학자와 데이터 중심의 개발자를 포함하는 전통적인 데브옵스(DevOps) 팀이 데이터옵스(DataOps) 팀으로 변화할 것이다. 이는 보다 향상된 커뮤니케이션, 부서간에 역할의 구분을 넘어서는 협력을 통한 목표 달성 가속화, 가치 실현 시간 단축, 높은 민첩성 등을 제공한다. 데이터옵스 형식으로 업무를 관리함으로써 변화하는 환경에 대응하고 적시에 적절한 조치를 취할 수 있는 역량을 제공할 수 있게 된다. 이를 통해 새로운 기술 및 아키텍처가 제공하는 혜택을 얻을 수 있는 유연성 및 효율성을 확보할 수 있다.

IoT 엣지의 확장
2018년에는 데이터 패브릭 및 컴퓨팅을 온프레미스에서 멀티-클라우드 환경으로 전환해 사용하는 기업뿐 아니라, 이제는 최대로 확장 가능한 데이터 패브릭으로 기기와 가장 가까운 위치에서 엣지와 바로 연결되거나 데이터 패브릭이 기기에 탑재돼 있을 것이다.

테드 더닝 맵알 최고 애플리케이션 아키텍트는 “2018년 기술 전망은 데이터 관련 여러 도전 과제를 해결하기 위한 실질적인 접근과 그 동안 맵알이 기업들이 비즈니스 혁신을 이룰 수 있도록 지원하며 얻은 인사이트를 기반으로 발표했다”고 전했다.

한승균 기자 / 전자공학 박사
<저작권자 © 빅데이터뉴스, 무단 전재 및 재배포 금지>