제가 즐겨 보는 사이트에서 발췌했습니다.

계산과 동시에 영수증에 맞춤형 쿠폰 제공… 동일 제품 사도 구매이력 따라 소비자마다 쿠폰 달라

“중요한 것은 시스템의 속도가 아니라 통찰력의 속도다.”

미 IT 전문지인 인포메이션위크는 8월 9일자로 발행된 매거진에서 ‘Big Data Era’라는 특집을 게재했습니다. 결론부터 말하면 요즘 관심이 뜨거운 데이터웨어하우스(DW)어플라이언스와 인데이터베이스 분석 기능, 인메모리 기술이 주제입니다. 많이 다뤄진 주제라 진부하다는 생각도 잠시, ‘통찰력의 속도(speed of insight)’라는 표현이 참 와닿습니다. 또 카탈리나 마케팅, 반스&노블, 허치슨3G 등 대용량 데이터를 보유한 거대 기업들이 어떻게 실시간 고객 분석과 마케팅을 수행하고 있는지 상세하게 다루고 있답니다.

우선 카탈리나 마케팅이 참 흥미롭습니다. 카탈리나 마케팅은 미국의 소비재(CPG) 기업과 유통업체를 고객사로 하는 글로벌 마케팅 기업인데요, 미국 내 대형 할인매장, 약국, 기타 유통업체를 대상으로 차별화된 고객 마케팅을 할 수 있도록 해줍니다.

카탈리나 마케팅이 고객별 맞춤형 쿠폰을 제공하는 방식은 상당히 독특합니다. 예를 들어 두 명의 소비자가 있습니다. 이 소비자들이 슈퍼에서 똑같은 물건을 구매하고 계산대로 와서 금액을 지불하면 영수증에 바로 쿠폰이 함께 인쇄돼 나옵니다. 재미있는 것은 같은 물건을 샀다고 하더라도 두 사람은 각각 다른 맞춤형 쿠폰을 받는다는 것인데요, 바로 그동안의 구매 이력을 분석해 각자에게 더 적합한 맞춤형 쿠폰을 준다는 것입니다.

우리나라에서도 이미 하고 있다고요? 중요한 것은 소비자가 매장에서 집어온 물건을 계산대에 올려놓으면, 계산원이 제품의 바코드를 찍어 총액을 합계하고 영수증을 출력하는 그 시간 내 고객의 기존 구매 이력을 전광석화 같이 분석해 개인화된 쿠폰을 제공한다는 것입니다. 이 시간이 대략 얼마나 될까요? 제품의 바코드를 인식하고 POS 시스템에서 합계한 그 순간에 바로 고객의 데이터 분석이 이뤄지는데 아마 몇십초도 걸리지 않을 겁니다.

우리나라에는 낯선 이름이지만 카탈리나 마케팅은 미국 내 1억9500만 소비자의 구매 이력 정보를 갖고 있는 거대기업인데요, 그 방대한 데이터 때문에 카탈리나 마케팅의 데이터웨어하우스(DW)는 이미 7년 전에 페타바이트(PB)를 넘어섰고 현재는 2.5PB에 이른다고 합니다. 얼마나 방대한 용량인지 실감이 잘 나지 않는데요, 데이터베이스의 단일 테이블에 약 6000억개의 로(row) 데이터가 달려 있다고 합니다. 

이 엄청난 양의 데이터에서 지금 물건을 계산하는 고객의 정보를 바로 뽑아서 몇십초 내로 분석, 맞춤형 쿠폰이 인쇄된 영수증을 제공한다니 정말 놀랍습니다. 카탈리나 마케팅은 네티자의 DW어플라이언스를 사용하고 있다고 하는군요. 이 제품은 대용량병렬처리(MPP) 아키텍처에 기반하고 있습니다. 이외에도 인데이터베이스 기술, 인메모리 기술까지 다양하게 검토, 테스트하고 있습니다.

스포츠용품 전문 다이렉트 마케팅 및 유통업체인 카벨라의 경우 인데이터베이스 프로세싱 기술을 사용하고 있습니다. 테라데이터의 DW용 데이터베이스 내에서 SAS 프로시저를 처리하는 것이죠. 전통적인 방식의 별도 SAS 제품과 SQL 기반의 데이터베이스를 사용할 때보다 속도가 엄청 빨라졌다고 하는군요.

데이터를 추출해서 처리하고 보고서로 만들어지기까지 이전에는 4일 걸렸다면 현재 1시간 내 가능해졌다고 합니다. 인력면에서도 이전에는 7명의 통계 전문가가 필요했지만 이젠 1.5명이면 된다고 하는군요.

인데이터베이스 기술은 카탈리나 마케팅에서도 테스트 중이라고 합니다. SAS는 네티자와도 협력하고 있는데, 카탈리나 마케팅의 CIO인 에릭 윌리암스에 따르면 기존에 연간 50~60개의 비즈니스 모델을 개발할 수 있었다면 인데이터베이스 기술을 사용해 600개 정도 만들어낼 수 있을 것으로 기대된다고 합니다. 물론 인력 증원 없이요.

이 특집에서 거론하는 세 번째 중요한 기술은 인메모리 기술입니다. SSD(Solid State Disk)를 사용하면 이전보다 150배 빠른 속도를 낼 수 있다고 하죠. 오라클 엑사데이터 V2가 그런 제품인데요, 물론 SSD 옵션은 IBM, 코그니토, 테라데이타 등에서도 제공하고 있습니다.

프랑스의 거대 금융 기업인 BNP 파리바는 DW어플라이언스에서 SSD 옵션을 채택해 데이터를 고속/중속/저속 3단계로 나눠 저장했습니다. 가장 최근에 일어난 거래 데이터는 당연히 플래시의 캐시에 있고요.

우리나라에서도 유명한 반스&노블은 지난해 e-북과 e-리더 시장에 진출하면서 산재돼 있던 DW를 통합해야 할 필요성을 느꼈다고 합니다. 반스&노블에서 수백TB에 이르는 데이터는 9개의 오라클 DW에 나눠 운영 관리되고 있었습니다. 이 DW들은 730개의 유통매장과 630개의 대학서점에서 올라오는 POS 데이터를 처리했죠. 그리고 e-리더 시장에 진출하면서 새로운 채널이 추가됐습니다.

반스&노블은 오라클 DW에서 아스터 데이터 엔클러스터의 데이터베이스로 마이그레이션했습니다. 이종의 채널 간 분석이 훨씬 빨라졌다고 합니다. “예전에는 누군가 반스&노블 온라인을 방문하면 우리는 온라인 구매 정보만 알 수 있었지만 지금은 이 방문자가 e-리더, 온라인 쇼핑몰, 오프라인 매장 등 반스&노블 전체 에코시스템에서의 행동을 이해할 수 있게 됐다”는 게 반스&노블 로열티 마케팅 담당 패리시 부사장의 말입니다.

이외에도 영국의 모바일 네트워크 사업자인 허치슨 3G는 IBM의 스마트 애널리틱 시스템(SAS)를 사용해서 600만 가입자의 세부적인 통화 기록과 정보를 분석하고 있는데요, 네트워크 성능 최적화와 고객 행동 분석에 사용하고 있다고 합니다. 이를 통해 네트워크 접속 상태가 안 좋거나 안테나 수신 감도가 떨어지는 곳에서의 호 단절률(DCR)을 낮출 수 있다고 합니다.

지면으로 6페이지나 되는 만큼 기사 길이도 길고 이 기사를 읽기 위해서는 인포메이션위크 온라인에 회원으로 가입해야 합니다. 하지만 회원 가입하는 수고를 하셔도 좋을 것 같습니다. 이 기사에서 인터뷰한 기업 관계자 중 한 명은 그런 얘기를 했더군요. “데이터 관리자가 느끼는 속도보다 통계와 분석 업무를 담당하는 직원들이 느끼는 속도가 진정한 속도”라고요.

- 출처 : http://www.ciobiz.co.kr/news/articleView.html?idxno=3123

- 영문 원본 : http://www.informationweek.com/news/business_intelligence/warehouses/showArticle.jhtml?articleID=226600091&queryText=BIG%20DATA%20ERA