(서울=연합뉴스) 기획취재팀 = '빅 데이터'란 용어는 돌연변이의 출현처럼 어느 날 갑자기 등장했지만, 실제 '등판' 과정에는 꾸준한 데이터 분석과 조합 기술의 진화가 자리를 잡고 있다.
대용량 데이터의 집합이나 이를 조직화해 의미를 추출해낼 수 있는 첨단기술 등은 하루아침에 '뚝딱' 생겨난 게 아니란 얘기다.
◇기술의 진화가 열어준 '보물상자' = 빅 데이터 시대 이전에도 방대한 데이터는 존재했다. 공공부문의 각종 통계에서부터 기업의 시장조사 보고서나 판매 현황에 이르기까지 체계적으로 분류·저장된 정보들은 많았다.
빅 데이터 분석과 활용이 이런 기존의 데이터 처리와 차별화되는 것은 자연언어 텍스트, 사진, 음악, 동영상, 위치정보 등 정형화하지 않은 데이터까지 분석 대상으로 삼아 의미를 찾아낸다는 점이다.
저장 매체의 고용량화와 가격 하락, 중앙처리장치(CPU)의 연산 능력 향상, 네트워크 보급으로 망(網)을 이용한 정보의 이동·수집의 활성화, 인공지능(AI) 기술의 진보 등도 빅 데이터 등장에 한몫을 한 외부환경이다.
여기에 스마트폰, 태플릿PC 등 데이터를 생성할 수 있는 스마트 기기가 보편화하고, 데이터 수집에 쓰이는 센서가 소형화·저렴화하면서 개인 식별정보를 포함한 유용한 데이터의 양이 기하급수적으로 늘었다.
요컨대 이처럼 여러 영역에서 이뤄진 기술 진화가 과거에는 아예 수집할 수 없는 것으로 여겨지거나, 수집해도 분석할 수단이 없어 버려지던 데이터 마저도 사람들의 욕망이나 정치적 지향, 생각 등을 읽어낼 수 있는 재료로 바꾼 것이다.
삼성경제연구소 채승병 수석연구원은 "모바일 스마트 기기의 보급 확산으로 개인별 라이프로그(lifelog, 개인의 생활이나 일상을 디지털공간에 저장하는 일), 지리적 위치, 주변 환경과 상황 등 광범위한 미시 데이터의 수집이 가능해졌다"며 "새롭게 증가하는 대부분의 기기와 센서가 네트워크에 연결되고 비용 대비 통신 속도도 급격히 빨라져 데이터의 증식과 이용을 촉진하고 있다"고 말했다.
이런 변화는 최근 국내 기업의 고객관계관리(CRM) 체계 변화에서도 엿볼 수 있다.
신한카드 마케팅기획팀 정승은 부부장은 "예전에는 고객 결제정보 등 우리가 가진 데이터만 봤다면, 지금은 주문 정보나 위치 정보, 날씨, 사회관계망서비스(SNS) 등 외부 데이터를 많이 끌어다 쓴다"고 말했다.
그는 "CRM 체계에서는 '이벤트 사후'에 마케팅을 했지만, 지금은 이벤트가 있으면 보유한 데이터를 분석해 실시간으로 대응할 수 있게 됐다"고 덧붙였다.
'빅 데이터 선진국'으로 분류되는 미국에 비하면 아직 초보적 수준이지만, 여러 데이터를 비교하고, 교차 분석해 새로운 가치와 정보를 만들고 있다는 것이다.
우리 정부가 작년 11월에 내놓은 '빅 데이터 마스터플랜'에서도 비슷한 흐름이 보인다.
'3대 우선과제'의 하나로 꼽힌 '범죄 발생 장소·시간 예측을 통한 범죄 발생 최소화' 과제에는 경찰청 외에도 행정안전부, 법무부, 검찰청 등이 참여한다. 부처를 넘나들어 수집한 자료를 서로 연계해 좀 더 입체적인 그림을 그리고 국가 현안에 선제적으로 대응한다는 것이다.
한국정보화진흥원 빅데이터전략연구센터 정지선 책임연구원은 "통신, 포털 등에서 엄청나게 많은 양의 데이터가 쏟아지는데 예전에는 저장 용량의 한계 때문에 활용하지 못하고 버렸지만, 기기의 저장 용량이 커지고 분석 기술도 좋아지면서 실시간 트렌드를 효과적으로 뽑아낼 수 있게 됐다"고 말했다.
◇빅데이터의 가능성과 한계 = 글로벌 정보기술(IT) 연구·자문회사인 가트너는 빅 데이터를 '21세기의 원유'라고 부른 적이 있다. 또 정보정책연구원 정용찬 연구위원은 "빅 데이터 시대에 데이터는 산업혁명기의 석탄처럼 중요한 자원"이라고 말했다.
빅 데이터가 '굴뚝산업' 시대에 공장을 돌리던 주요 연료자원만큼 중요한 존재가 될 것이라는 뜻이다.
삼성경제연구소 채승병 수석연구원은 최근 보고서에서 빅 데이터를 ▲'크기' 면에서 전수 분석이 이뤄지면서 정보의 왜곡이 저감되고 ▲'다양성' 측면에서 고객의 행태가 여과 없이 담겨 있는 생생한 비정형 데이터가 핵심을 이루며 ▲'속도' 면에서 사건 발생 시점과 감지 시점 사이의 지연이 거의 없어 '실시간 예보(nowcasting)'가 가능한 것이라고 설명했다.
특히 기업 입장에서는 빅 데이터가 경영자의 직관을 보완해 효과적인 의사결정을 내리도록 할 수 있고, 현황 파악에 걸리는 시간을 줄이면서 일기예보, 교통정보, 인기뉴스 같은 다양한 데이터를 조합해 실시간 수요 예측 모형을 만들 수 있다는 것이다.
또 인터넷 검색어 통계나 소셜미디어의 관심 메시지를 통해 주요 사건의 징후와 경과를 파악하고, 과거엔 감지하기 어려웠던 소비자의 의견을 빠르게 수렴해 리스크를 최소화하는 장점도 갖고 있다고 보고서는 덧붙였다.
빅 데이터의 가치를 수치화한 전망도 있다.
매킨지 글로벌 연구소는 미국의 보건 분야에서 빅 데이터의 활용만으로 3천억달러 규모의 가치가 창출되고, 유럽연합(EU)의 공공부문에선 연간 2천500억유로의 가치가 창출될 것으로 예측했다.
또 민간부문에선 개인의 위치정보 데이터를 활용해 연간 6천억달러의 소비자 잉여를 창출할 수 있고, 소매업의 영업이익도 60%가량 개선될 것으로 내다봤다.
그렇다고 빅 데이터의 미래 전망이 온통 장밋빛인 것은 아니다. IT 칼럼니스트인 조중혁은 저서 '인터넷 진화와 뇌의 종말'에서 "(빅 데이터에 대한) 지금처럼 과도한 관심은 거품이 있다고 볼 수 있다"고 경계했다.
빅 데이터는 이미 20년 전부터 활용돼온 '데이터 마이닝'의 발전된 모델일 뿐이라는 것이다.
그는 "과거보다 저렴한 가격으로 빅 데이터를 분석할 수 있는 기술적 기반은 마련됐지만, 정작 분석할 빅 데이터도 없고, 분석해서 어떻게 사용할지에 대한 고민도 적다"고 말했다.
LG경제연구소 황혜정 연구위원은 "기업의 의사결정자인 경영층은 데이터보다는 보통 본인의 직관이나 경험 등에 의지해 의사결정을 해온 관행이 더 강한 것 같다"며 "기업의 경영층이 데이터에 기반한 의사결정이란 낯선 방식을 받아들일 마음가짐이 얼마나 갖춰졌느냐도 중요한 문제"라고 말했다.