급증하는 빅데이터 분석 수요..."대용량 스토리지 주목"

기사입력 : 2018-01-13 14:00:00
[빅데이터뉴스 정백희 기자]
급증하는 데이터들을 수집해 저장·관리하기 위한 데이터 레이크(Data Lake) 역할을 해주는 오브젝트 스토리지가 빅데이터 시장에서 떠오르고 있다.

오브젝트 스토리지는 해마다 급격하게 늘어나는 비정형 데이터를 안전하게 저장하고 관리하기 위해 등장한 방식으로, 스토리지 운영에 있어서 근본적으로 다른 접근 방식을 제공한다.

파일 스토리지가 데이터를 파일 규칙에 따라 관리하고, 블록 스토리지가 특정 영역과 구간을 나눠 데이터를 블록 단위로 관리하는 것과 달리, 오브젝트 스토리지는 파일에 대한 구체적인 정보를 포함한 메타데이터를 자동으로 생성·보관·관리한다는 것이 특징이다.

center
델EMC 오브젝트 스토리지


오브젝트 스토리지를 이용하면 데이터를 어디에 어떻게 저장할지를 고민하지 않아도 된다. 데이터는 스토리지 어딘가에 위치하게 되고, 해당 데이터를 사용하는 애플리케이션이 바로 찾아서 보여주기 때문이다. 또한 각 데이터들의 메타데이터를 태그처럼 활용해 쉽게 검색이 가능하다.

그러나 오브젝트 스토리지가 비정형 데이터 관리에 최적화돼있다 하더라도 기본적으로 증가하는 데이터를 수용하기 위해서는 그만큼의 저장 공간을 필요로 한다. 아무리 스토리지 비용이 저렴해졌다 하더라도 폭증 수준의 데이터를 수용하기에는 비용과 공간 문제가 발생하게 된다.

기본적으로 오브젝트 스토리지는 블록 단위로 저장하는 SAN이나 파일 단위로 저장하는 NAS와 달리 별도의 통신 방식 없이 HTTP 또는 레스트풀(Restful) API를 통해 데이터에 접근하며, 대용량 저장을 위한 스케일-아웃(Scale-Out) 구조로 손쉬운 확장이 가능하다.

이에 더해 이레이저 코드(Erasure Code) 기술로 데이터 용량 절감을 구현, 적은 용량으로도 많은 데이터를 수용할 수 있도록 한다.

비록 오브젝트 스토리지가 클라우드 기업들에서 활용되기 때문에 최신 기술이라 여길 수 있지만, 실제로 등장한 지는 이미 10여 년이 넘었다. 국내에서도 2000년대 중반부터 제품 판매가 이뤄졌지만, 당시에는 DB를 비롯한 정형 데이터를 저장·분석하기 위한 수요가 많았기에 상대적으로 주목받지 못했다.

IT 기술의 발전과 더불어 빅데이터·클라우드 시대를 맞이하면서 점차 쓰임새가 많아지고 있다.

정백희 기자
<저작권자 © 빅데이터뉴스, 무단 전재 및 재배포 금지>