인간은 수천 년 동안 데이터를 분석해왔다. 고대 메소포타미아에서 글이 발달한 것은 관리들이 정보를 파악하고 기록할 효율적 도구가 필요했기 때문이다. 성서 시대 이후 여러 정부는 주민들에 관한 데이터를 수집하기 위해 인구조사를 실시했다. 지난 200년간 보험 계리사들은 리스크를 알아내거나 피하기 위해 많은 데이터를 수집했다. 그러나 아날로그 시대에는 데이터를 수집하고 분석하는 데 엄청난 비용과 시간이 소요됐다. 새로운 의문점이 생기면 데이터를 새로 수집해야 했고 처음부터 다시 분석해야 하는 경우가 많았다.
하지만 디지털화의 도래로 효율적 정보처리에 큰 진척이 일어났다.
일하고 생각하는 방식도 바뀌고 있다.
빅데이터를 통해 우리는 이전에 알 수 없었던 것들을 찾아내고, 거시적인 통찰력을 갖추고, 패턴이나 상관성을 읽어내어 데이터 스스로 진실을 드러내게 할 수 있다. 모든 것의 데이터화는 그동안 정보로 취급하지 않았던 것들까지 새로운 방식으로 활용할 수 있게 해준다. 이제 빅데이터는 우리의 경제 상황과 사회, 그리고 삶을 급속도로 변화시키고 있다. 불확실하지만 스마트한 정보가 넘치는 시대에 우리는 무엇을 어떻게 준비할 것인가.
중고차 중에서 어떤 색깔의 차량이 가장 상태가 좋을까?
뉴욕의 공무원들은 폭발 위험이 가장 높은 맨홀 뚜껑을 어떻게 알아낼까?
구글은 대체 어떻게 신종 플루의 발병을 예측했을까?
훨씬 더 많은 질문에 답하기 위한 핵심 열쇠가 바로 ‘빅데이터’다. 빅 데이터란 방대한 양의 정보를 고속 처리하여 즉시 분석하고, 그로부터 놀라운 결론을 도출해내는 능력이다. 이 능력이 알려진 것은 얼마 되지 않았다. 이 새로운 방법을 사용하면 항공권 가격부터 수백만 권의 책까지 무수한 현상을 검색 가능한 형태로 바꿀 수 있다. 빅데이터는 급성장한 컴퓨터 연산능력을 이용해 지금까지 한 번도 알지 못한 것들을 알게 해준다.
인터넷의 발명, 심지어 인쇄기의 발명에 견줄 만한 혁명이 시작된 것이다. 앞으로 몇 년 동안 빅데이터는 비즈니스, 정치, 교육, 건강, 혁신을 생각하는 방식을 바꿔놓을 것이다. 빅데이터는 새로운 위협이 될 수도 있다. 지금과 같은 사생활은 사라지고 빅데이터가 제시하는 미래 행동 예측에 기초하여 아직 저지르지도 않은 일에 대해 처벌받게 될지도 모른다.
빅데이터가 가져올 위험에서 우리를 지킬 방법은 무엇일까
빅데이터 세상은 다양한 방식으로 비즈니스와 과학 분야뿐만 아니라 헬스케어, 정부, 교육, 경제, 인문, 사회에 이르기까지 모든 분야를 뒤흔들 것이라는 예측은 이제 우리의 현실이 되었다. 아직은 빅데이터의 여명기이지만 적극적으로 변화의 시대를 맞이할 준비를 서둘러야 한다.
빅데이터의 핵심은 예측에 있다. 빅데이터를 인공지능이라는 컴퓨터 과학이나 기계 학습의 일부로 설명하는 사람들도 있다.
하지만 그것은 잘못된 판단이다. 빅데이터는 엄청난 양의 데이터에 수학을 적용해 확률을 추론하려는 노력이다. 어떤 이메일이 스팸 메일일지, 무단횡단 중인 사람의 궤도와 속도로 보아 그 사람이 제때 길을 건널지, 무인 자동차가 언제 속도를 살짝 늦춰야 할지 등과 같은 것들이다. 이런 시스템이 잘 작동하는 것은 예측에 필요한 데이터를 많이 공급받기 때문이다. 시스템이 스스로 개선될 수 있도록, 더 많은 데이터가 들어오면 어느 것이 최상의 신호이고 패턴인지 기록해 나가게 설계되어 있기 때문이다.
생각보다 빠른 미래에 지금은 순전히 인간의 판단 영역에 속하는 것들이 컴퓨터 시스템에 의해 보강되거나 대체될 것이다. 운전이나 데이트 상대 고르기뿐만 아니라 훨씬 더 복잡한 일들까지도.
지금도 아마존은 우리에게 맞는 책을 추천해주고, 구글은 가장 적절한 웹사이트부터 순서대로 보여준다. 페이스북은 나의 선호를 알고 있고, 링크드인은 내가 누구와 연줄이 닿는지 꿰뚫고 있다. 똑같은 기술이 질병 진단과 치료법 추천에도 적용될 것이다. 어쩌면 실제 범죄가 일어나기도 전에 ‘범죄자’를 찾아내게 될지도 모른다. 인터넷이 컴퓨터에 통신 기능을 부가하여 세상을 완전히 바꿔놓았듯, 빅데이터도 컴퓨터에 지금까지와는 차원이 다른 양적 측면을 부가해 우리 생활의 기본 양상을 바꿔놓을 것이다.
데이터 스스로 진실을 드러내게 하라
원인 대신 패턴이나 상관성을 찾아내어 새로운 이해와 통찰의 세계로 데려다놓는 빅데이터 시대.
빅 데이터는 세상을 수량화하여 이해하고 싶은 인류의 탐험에 큰 진전이 이루게 해줄 것이다. 이전에는 측정·저장·공유·분석할 수 없었던 것들이 끊임없이 데이터화되고 있다. 조그만 일부분이 아니라 방대한 양의 데이터, 덜 정밀하지만 더 많은 데이터를 이용한다면 새로운 이해의 길이 열린다. 사회는 오랫동안 선호되어온 인과관계를 버리고 상관관계의 편익에 의존할 것이다. 인과관계의 메커니즘을 이해하고 싶은 인류의 이상은 자기만족적 환상이며 빅데이터는 이 환상을 뒤집어엎을 것이다.
우리가 굳게 믿고 있던 확실성이 또 한 번 바뀌고 있다. 이번에는 더 확실한 증거에 의해 기존의 확실성이 대체되고 있다.
이제 직관과 신념, 불확실성에게는 무슨 역할이 남을까?
증거에 반해 행동하고 경험에서 배우는 일은 이제 다시 일어나지 않을까?
지금의 사회와 인간관, 진보는 이성을 기초로 한 것이다. 인과성에서 상관성으로 세상이 바뀌는데 이런 것들의 기반이 송두리째 흔들리지 않고서야 다음으로 넘어갈 수 없을 것이다.
앞으로 빅데이터는 새로운 경제적 가치와 혁신의 원천이 된다.
빅데이터의 부상은 곧 정보 분석 방법의 변화를 불러오고 우리가 사회를 이해하고 조직하는 방법을 바꿔놓을 것이다. 새로운 세상은 더 많은 데이터를 분석할 수 있다. 이전의 샘플링 방식으로 도저히 알아낼 수 없는 하위 범주와 하위 시장들을 찾게 되는 것이다.
두번째 변화는 방대한 데이터를 들여다보게 됨으로써 정밀성에 대한 욕구가 줄어들 것이다. 빅데이터는 들쭉날쭉하고, 속성이 서로 다르며, 전 세계 수많은 서버에 산재해 있는 경우가 많다. 그래서 빅데이터를 사용할 때는 센티미터 단위, 원 단위, 분자 단위까지 현상을 이해하기보다 일반적 방향성으로 만족해야 할 때도 많을 것이다. 이것은 정밀성을 전부 내다버린다는 것이 아니라 정밀성만 고집하지 않는다는 뜻이다. 미시적 차원의 정확성을 잃는 대신 거시적 차원의 통찰력을 얻는 것이다.
이러한 변화에서 ‘인과관계 추구’라는 오래된 습관에서 멀어지는 결과를 낳는다. 빅 데이터 세상에서는 인과관계에 얽매일 필요가 없다. 패턴이나 상관성을 찾아내어 새로운 이해와 귀중한 통찰을 얻으면 된다. 상관성은 어떤 일이 정확히 왜 벌어지고 있는지를 설명하지 못할지도 모르지만 그 일이 지금 일어나는 중이라고 경고해줄 수는 있다. 어떤 현상의 원인을 항상 알아야 할 필요는 없다. 데이터 스스로 진실을 드러내게 하면 된다.
참고자료: 빅 데이터가 만드는 세상 데이터는 알고 있다 저자 빅토어 마이어 쇤베르거, 케네스 쿠키어
한승균 기자 / 전자공학 박사
<저작권자 © 빅데이터뉴스, 무단 전재 및 재배포 금지>
