ZERONOVA

Data, Open, Share, Platform, Cloud, Education

국내 빅데이터의 간략한 역사와 PlatformDay

with one comment

국내 빅데이터 역사라고 하니 제목이 좀 거창한 느낌이 든다. 처음 국내에 구글 플랫폼과 Hadoop을 소개하면서 시작된 나의 빅데이터 여정과 이와 함께 궤적을 같이 해 온 PlatformDay라는 행사의 짧은 역사를 한번 되짚어 보고자 한다.

2007년 제1회 PlatformDay를 통해 Hadoop 국내에 첫 소개

국내에 처음으로 Hadoop을 소개한 공식적인 자리가 2007년 PlatformDay일 것이다. 이 때만해도 Hadoop을 알고 있는 사람도 거의 없었고, 빅데이터라는 용어는 엄마 뱃속에 있을 때였다. 2006년에 국책 과제를 기획했는데, 그 내용이 구글 플랫폼(GFS, MapReduce, BigTable 등)과 같은 대규모 대용량의 데이터 플랫폼을 개발하는 것이었다. (결국 이게 GLORY라는 과제로 탄생하게 됨) 이 때 NHN도 함께 참여하였고, NHN의 성기준 랩장(당시)님으로부터 Hadoop이라는 오픈소스의 존재를 듣게 되었다. 당시 구글 플랫폼에 푹 빠져있던 나는 Hadoop에 급관심을 가지게 되었고, 이를 소개하는 자리를 만들어야 되겠다는 생각으로 드디어 2007년 3월 2일 첫 PlatformDay 컨퍼런스를 개최하게 되었다. 그 때만해도 그 행사를 이렇게 오랫동안 하게 될 줄 꿈에도 몰랐다.

2007년 PlatformDay를 대전 KAIST에서 개최했음에도 불구하고, 100여명에 가까운 사람들이 참석했다. 처음 잡아 놓은 강의실이 꽉 차서 결국 KAIST 전산과의 대강당으로 자리를 옮기게 될 정도로 반응은 뜨거웠다. 이 자리에서 내가 구글 플랫폼에 대해 소개하고, NHN에서 Hadoop을 소개해 주었다. (윤진석님, 김형준님) 참석자 리스트를 보면 대부분 회사에서 많이 왔는데, NHN, SK컴즈, 다음, 엠파스, 오픈마루, 호스트웨이, 야후, ETRI 등 여러 곳에서 참석하여 성공적인 행사가 됬었다. 이 때 참석한 분들이 지금은 거의 빅데이터와 Hadoop의 Guru로 자리매김하고, 국내 빅데이터 시장을 견인하고 있다고 볼 수 있다. 행사 후기를 보면 아마 기억이 새록새록한 분들이 많을 것이다.

PlatformDay2007-02 PlatformDay2007-01

2007년 제1회 PlatformDay 컨퍼런스 사진

빅데이터 1세대(2007~2011년): 포털과 통신사 중심으로 Hadoop 플랫폼 구축

아마 NHN 성기준 랩장님이 국내 Hadoop 도입을 가장 먼저한 분일거라 생각한다. NHN 내에 Hadoop을 전파시키기 위해 고군분투했던 것으로 기억한다. 듣보잡에 가까운 오픈소스이고, 대부분의 팀이 자체 분산 시스템을 가지고 있었기 때문에 저항감이 컷다. 이 당시만해도 오픈소스라고 하면 그리 신뢰하지 않는 분위기였다. 그도 그럴 것이 대부분의 오픈소스들이 이렇다할만한 레퍼런스가 없다보니, 완성도나 안정성 측면에서 걱정되었던 것이다. 요새는 오픈소스를 페이스북, 링크드인, 야후 같이 거대 기업에서 직접 만들고 운영하다가 오픈하다보니 이런 걱정들이 많이 불식된 것 같다. 여튼 이런 상황에서 Hadoop을 적극적으로 받아들이기는 쉽지 않은 상황이었고, 초기에는 NHN을 비롯하여, 야후, 오픈마루 등 포털이나 인터넷 서비스 기업 중심으로 조금씩 도입이 이뤄지는 상황이었다. 여기에 통신사도 용감하게 뛰어들었는데, SKT에서 2008년부터 도입을 시작하고, 실제 100대 이상의 클러스터를 구축한 것이다. (이 작업을 우리가 함께 했다) 이러한 초기 사례들은 PlatformDay 행사 프로그램을 보면 대략 감을 잡을 수 있다. (20082009, 2010, 2011)

2006년부터 2011년까지 포털, 인터넷 서비스, 통신사를 중심으로 Hadoop 시스템 구축이 시작되었다. 그런데 여기서 주목할 점이, 이때 구축한 것은 Hadoop 시스템이지 빅데이터 시스템이 아니라는 점이다. 각 기업들이 데이터의 폭증보다는 분산 시스템에 대한 니즈가 있었거나, 아니면 구글같이 플랫폼 경쟁력을 갖추기 위해서 시도한 것이다. 아래 Google Trend로 “빅데이터”, “Big Data”, “Hadoop”을 각각 검색해 보면, 재밌는 경향을 볼 수 있다. 국내나 해외나 마찬가지로 빅데이터라는 용어는 2011년 후반부터 등장하기 시작해서 가파르게 관심을 끌고 있는 것을 볼 수 있고, 반면, Hadoop은 이미 2007년부터 그래프가 지속적으로 올라가고 있는 것을 볼 수 있다. 이것은 바로 빅데이터라는 최신 트렌드를 견인한 것은 Hadoop의 영향이 크다는 반증으로 볼 수 있다. 이후의 두 그래프의 패턴이 유사하게 성장하는 것은 역시 최근 Hadoop이 빅데이터의 표준 기술로 자리매김하고 있음을 보여주는 것이다.

Hadoop과 Big Data Trends 비교

Hadoop과 Big Data Trends 비교

빅데이터 2세대(2012~현재): 빅데이터 기술 종의 다양성 증가와 빅데이터 활용 중심으로 관심 이동

2012년, 2013년 들어오면서 빅데이터에 대한 관심이 폭증하게 되고, 빅데이터 시장은 그 이전과는 다른 양상을 띄게 된다. 내재화를 주목적으로 하는 포털이나 통신사와는 다른 일반 기업들이 Hadoop을 검토하기 시작했고, Hadoop 이외에도 다른 빅데이터 기술을 찾기 시작했다. 여기에 대형 소프트웨어 벤더들이 MPP DB 제품을 주무기로 시장을 공략하기 시작했다. 또한 오픈소스 진영에서도 Hadoop 이외에 NoSQL, In-Memory 시스템, 실시간 스트림 처리 시스템, CEP 등 다양한 오픈소스들이 우후죽순 쏟아져 나온 것이다. 그리고 정말 큰 변화라고 하면, 2011년전까지는 주로 빅데이터 플랫폼 구축이 관심사였는데, 이후로는 빅데이터의 활용이나 분석의 측면이 더 강조되고 있다는 점이다. 오픈소스 R 프로그래밍이나 Data Scientist에 대한 관심도가 2011년 이후로 급증하고 있는 것도 그 맥락으로 이해할 수 있다.

Data Scientist와 R(RStudio로 대신 검색) Trend 비교

Data Scientist와 R(RStudio로 대신 검색) Trend 비교

제공자의 관점이 아닌 수요자의 관점에서 빅데이터를 다시 생각할 시점

결국 내가 보는 관점에선 2011년을 중심으로, 빅데이터라는 용어의 등장을 전후로, 이 시장의 주 관심사가 플랫폼에서 활용/응용으로 넘어가고 있다는 것이다. 당연한 귀결이라고 본다. IT 트렌드의 견인은 항상 기술이 한다. 하지만, 트렌드가 캐즘을 넘고 다수수용자들에게 퍼지기 시작하면, 더 이상 기술자들의 문제가 아니라, 비즈니스의 문제이고, 현업의 문제가 되는 것이다. 그들에게 플랫폼이나 기술은 도구이지 그 자체가 본질은 아닌 것이다. 기업 입장에서도, 빅데이터를 이용한 매출증대나 비용축소가 궁극적인 목적이지, 기술적으로 우아한 시스템을 구축하는게 최종 목적이 아닌 것이다. 물론 포털이나 통신사와 같이 플랫폼 경쟁력 자체가 사업의 본질이고, 지속적으로 진화시킬 필요가 있는 경우에는 기술 내재화쪽으로 진행되고 있다. 하지만 대다수의 일반 기업들에겐 그 자체를 스스로 소화하기에는 너무나 버거운 것이고, 심지어 그 일을 할 수 있는 사람도 찾기 힘든 상황이다. 이런 현실에서 기술만 얘기하고 플랫폼 구축만 강조하는 분위기는 자칫 기업들의 무게중심을 흩트리고, 과거 실패한 IT 기술들의 전철을 밟게 되지 않을까 우려된다.

올바른 빅데이터 기술 생태계를 만들기 위한 노력: PlatformDay

나 역시 Hadoop을 중심으로 사업을 하고 있고, 플랫폼 기술이 제대로 자리잡아 국내의 기술 생태계, 개발자 생태계가 좀 더 윤택해 졌으면 하는 바램이다. 하지만, 그것은 이 기술을 하는 우리의 몫이지 기업 고객의 몫은 아닌 것 같다. 일반 기업은 빅데이터를 잘 활용해서 데이터 중심 기업으로 진화하고, 성과를 내고 미래 경쟁력을 갖추는게 그들의 몫이다. 이것을 잘 할 수 있도록 도구를 지원해 주고, 노하우를 전수해 주는게 우리같은 회사가 할 몫이다. 본질의 주객이 전도되지 않아야 한다.

PlatformDay는 기술쟁이로서, 우리의 몫이라고 생각하는 일을 하는 것이다. Hadoop을 비롯한 다양한 오픈소스 빅데이터 기술이 실제로 여러 곳에서 활용되고 있음을 대중에게 알리고, 이를 통해 자극받은 개발자들이 이 세계에서 새로운 기회를 찾게하고, 고객들에게 빅데이터 기술에 대한 믿음을 주는 것이다. 지금까지 7년을 개최해 오면서 이러한 소기의 목적을 달성했다고 자부한다. 여러 개발자들이 PlatformDay를 통해 빅데이터 기술에 대한 꿈을 꾸고, 그길로 업을 삼고, 오픈소스에 관심을 가지게 되었다. 이제 받은 것을 돌려줘야 할 때가 아닌가 싶다. 지금까지 빅데이터 1세대 개발자분들께서 바쁜 일정 쪼개가며 발표를 해 주었다. (그 분들께 진심으로 감사드린다) 이제 그 자양분을 받고 자란 2세대 개발자, 분석가, 기업들이 나서야 할 차례다. 2013년 PlatformDay 컨퍼런스에선 그런 분들의 발표를 많이 만날 수 있길 기대한다. (발표 참여를 희망하시는 분들은 발표제안요청서(CFP)를 참조)

Advertisements

Written by zeronova

2013/09/13 , 시간: 3:45 오후

Big Data에 게시됨

One Response

Subscribe to comments with RSS.

  1. 잘 읽었습니다.
    감사합니다..


답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

%d 블로거가 이것을 좋아합니다: