EMC-테라데이타,빅데이터는 '내가 제일 잘 나가'

[김국배기자] 점심시간에 식당을 찾은 A씨는 스마트폰을 이용해 위치기반 소셜네트워크서비스(SNS)로 자신의 위치를 알린다. 식사를 마친 뒤에는 트위터에 오늘 먹은 점심에 대해 '품평'을 올리고 찍은 음식사진을 페이스북에 올리는 일도 잊지 않는다. 위치정보는 물론 취향이나 습관 등 자신에 관한 모든 기록들을 매일매일 쌓아가는 요즘은 바야흐로 빅데이터 시대다.

지난 해 전 세계에서 생성된 디지털 정보의 양은 1.8 제타바이트. 대한민국 국민 전체가 18만년 동안 쉬지 않고 트위터에 1분마다 3개의 글을 올리는 양과 같은 데이터다. 또 2시간짜리 HD 영화 2천억개와 맞먹는 정보의 양이다.

기업들도 빅데이터 분석에 대한 관심을 보이며 치열한 경쟁을 예고하고 있다. 기업의 생산성과 경쟁력을 높이는데 필요한 해답을 빅데이터에서 찾고 있기 때문이다.

테라데이타와 EMC는 빅데이터에 주목하는 대표적인 기업들이다.테라데이타는 빅데이터 시장에서의 선전으로 115억 달러(약13조원)의 시가총액을 기록하고 있고 3년 동안 매출과 주당 순이익(EPS)이 각각 10.3%와 13.9%씩 상승했다.EMC 또한 지난해 4분기 매출액이 전년 동기대비 14% 증가한 56억 달러에 달했고 연간 매출액도 역대 최대 규모인 200억 달러를 돌파했다.

◆테라데이타, 막대한 양의 데이터 분석·처리 지원

소셜 비즈니스 기업인 엠징가는 소셜 미디어가 급성장하며 실로 엄청난 양의 데이터로 어려움을 겪게됐다.데이터를 처리하는 데 병목현상이 생겼고 사용자 분석도 막다른 곳에 다다랐다.사용자 매트릭스도 실시간으로 처리 못했고 '데이터 지연'이 빈번하게 발생했다.

하지만 엠징가가 분석 인프라에 '테라데이타 애스터 맵리듀스 플랫폼'을 도입하면서 상황은 달라졌다. 이전 데이터베이스 시스템에서는 사용자 활동을 기간별로 분류해 결과를 도출하는 데 몇 시간이 걸렸지만 애스터 데이터베이스에서는 몇 분이면 전체 활동로그를 기간별로 분류할 수 있게 된 것이다.

1만5천 개가 넘는 사이트에 사용자 수 4천만 명에 달하는 엠징가는 소셜 미디어 안에서 영향력 있는 사용자나 콘텐츠에 대한 결과를 정확히 전달할 수 있게 됐다. 이는 기업이 고객에 대한 정확한 이해를 바탕으로 이들이 생성하는 콘텐츠 중 어떤 것이 영향력과 관련성이 있는지 식별할 수 있게 됐다는 것을 의미한다.

전세계 200여 개 국가에서 1억5천만 명 이상이 이용하는 비즈니스 소셜네트워크 서비스(SNS) 기업인 링크드인도 100테라바이트가 넘는 막대한 양의 데이터를 처리하고 분석하는 데 어려움을 겪고 있었다. 하지만 테라데이타의 빅데이터 분석기술을 도입하면서 느린 속도와 제한된 분석의 한계를 극복할 수 있었다. 이를 통해 빅데이터 기반의 여러 제품과 서비스를 제공하면서 추가로 회원을 확보할 수 있었고 수익도 증가했다.

금융분야의 인튜이트, 유통분야의 반즈 앤 노블, 통신미디어 분야의 아카마이와 인사이트익스프레스가 테라데이타 애스터 맵리듀스 플랫폼을 활용해 효과적으로 빅데이터를 분석하고 관리할 수 있게 됐다.

◆SK컴즈, EMC 그린플럼으로 데이터 분류 및 배치시간 단축

국내 기업인 SK커뮤니케이션즈도 '고객중심 경영'을 위해 다양한 관점의 고객분석이 필요했다. 그러나 요구분석을 위해 사용할 수 있는 서버 용량이 부족했다. 데이터는 계속해서 증가했고 성능은 저하됐다.늘어나는 데이터에 따라 스토리지 확장을 할 수 없었고 적시에 데이터 처리결과를 도출하기도 어려웠다.

SK커뮤니케이션즈가 대응책으로 도입한 것은 EMC의 '그린플럼'. 이를 통해 기존 DW 시스템 4대에서 나눠서 진행했던 작업을 하나의 그린플럼 데이터베이스(DB)에서 통합 처리할 수 있게 됐다. 데이터 분석을 위해 외부의 데이터를 수렴하고 목적별로 분류하는 배치 작업의 경우 끝나는 시간이 평균 오후 3시에서 오전 6시로 앞당겨졌으며, 주 배치 작업은 26시간에서 4시간으로, 월 배치 작업은 96시간에서 15시간으로 단축됐다.

인터넷전화 업체 스카이프는 네트워크 남용을 막기 위한 유저 성향 분석에 EMC 그린플럼을 도입했으며, 투자은행인 도이치뱅크는 금융 사기 감지와 방지, 신용 위험 감소를 위한 신용 등급 설정과 분석을 위해 그린플럼을 활용하고 있다.

빅데이터 시대를 맞아 이같은 사례는 앞으로 더욱 늘어날 전망이며 EMC와 테라데이타의 성장 역시 가파른 상승 곡선을 그릴 것으로 기대되고 있다.

한편 맥킨지는 빅데이터 분석과 활용을 통해 1%의 생산성을 향상시킬 수 있다고 분석했다. IDC는 2015년까지 빅데이터 시장이 169억 달러(약19조원) 규모로 성장할 것으로 전망하고 있다. 이는 전체 정보통신기술(ICT) 시장 성장률보다 7배나 높은 수치다.