ZERONOVA

Data, Open, Share, Platform, Cloud, Education

실용적인 관점에서 빅데이터 접근

leave a comment »

최근 빅데이터 정의는 거의 3V(Volume, Velocity, Variety)로 굳어지는 분위기다. 하지만 빅데이터 = 3V라고 이해하더라도, 내 기업에 빅데이터가 있는지, 도입하는게 맞는지 등을 판단하는데는 큰 도움이 되지 않는 것 같다. 여러 빅데이터 세미나를 듣더라도 여전히 모르겠다, 헷갈린다라는 반응이 많은걸 보면 알 수 있다. (아마 3V 얘기를 수도 없을 들었을 것이다.)

자, 그럼 관점을 좀 바꿔 보자. 데이터를 저장하고 처리하는 새로운 방식을 빅데이터라고 정의하자. 즉, 기존의 RDB, NAS, SAN 등의 방식이 아니라 뭔가 새로운 방식이라는 것이다. 그리고 이런 새로운 방식으로 우리 기업의 현안을 해결하거나 신규 비즈니스를 창출할 수 있다면 적용해 볼만하지 않을까? 말하자면 데이터 자체에 너무 포커스하지 말고 문제에 초점을 맞추자는 것이다.
몇 가지 예를 들어보자.
  • 여러 로그 데이터를 저장하는데 RDB를 사용하고 있는데 비용이 만만찮다. 대신 Hadoop이나 NoSQL을 도입하면 비용 절감과 함께 더 오랜 기간 저장할 수 있지 않을까?
  • DW가 도입 초기와는 달리 데이터가 많아질 수록 속도가 현저히 느려지고 있다. 그렇다면 일부 데이터를 Hadoop 내려서 처리하면 DW 성능이 개선되지 않을까? 또한 비싼 DW 용량 증설이 필요없지 않을까?
  • 공정에서 나오는 품질 데이터의 구조가 복잡해서 상세조회를 하기가 너무 어렵고 시간이 오래 걸린다. NoSQL로 비정규화 해서 저장하면 실시간으로 상세조회가 가능하지 않을까?

위 예들은 실제 고객에게 이미 적용된 사례들이다. 이들 중에는 빅데이터라고 하기에는 그 규모가 민망할 정도로 작은 경우도 있다. 하지만 중요한 것은 지금 안고 있는 문제를 빅데이터 기술이 해결할 수 있느냐라는 질문이고, 여기에 긍정적으로 답할 수 있다면 데이터가 3V든 아니든 적용하지 말아야 할 이유가 뭐가 있겠는가?

Advertisements

Written by zeronova

2013/05/07 , 시간: 8:32 오전

Big Data에 게시됨

Tagged with

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

%d 블로거가 이것을 좋아합니다: