ZERONOVA

Data, Open, Share, Platform, Cloud, Education

PacketPig: Hadoop 이용한 빅데이터 보안 분석 사례

leave a comment »

PacketPigHadoop과 Pig를 이용하여 전체 네트워크 패킷(Full Packet Captures)을 분석해서 보안 공격을 찾아내는 툴이다. PacketLoop라는 회사에서 개발하여 오픈소스로 공개한 것이다. 이 회사는 패킷 분석을 통한 보안 공격 탐지를 SaaS 서비스 형태로 제공하고 있다. IDS가 등록된 공격 패턴에 대해 실시간으로 탐지하는 기술이라면, PacketPig는 전체 네트워크에 대해 배치 분석을 통해 Zero Day 공격까지 찾아내는 보다 정밀한 형태라 할 수 있다. 보다 자세한 설명은 Hortonworks 블로그에 소개된 글을 참고.

 

네트워크 보안이 중요해지면서 다양한 보안 시스템이 도입되고 있지만, 각기 기능별로 특화된 시스템으로 구축되는 것이 일반적인다. 즉, IDS, Netflow Repository, DLP, Bandwidth Optimization System 등으로 보안 정보가 분산되어 공격이나, 세션, 프로토콜, 파일 등의 관점에서 네트워크를 종합적인 뷰로 볼 수 있는 단일 시스템이 부재한 상황이다. 물론 SIEM(Security Identification and Event Management) 시스템이 보안 시스템들의 로그를 통합 저장하지만, 로그 데이터이다 보니, 정보가 축약되거나 일부만 저장될 수도 있다. NSM(Network Security Monitoring) 도구도 있지만 수 TB 규모의 대용량 데이터를 다루는데는 한계가 있다.

또한 DPI(Deep Packet Inspection)이라는 기술이 패킷을 분석해서 프로토콜을 식별하고, 공격을 탐지하는 역할을 하고 있지만, PacketPig처럼 대규모 패킷 데이터에 대해 고급 분석 수준으로 정밀한 분석을 한 사례는 찾기 힘들다. PacketPig는 이러한 기존 보안 시스템의 한계를 극복하기 위해 패킷 레벨의 보안 분석을 통해 전체 네트워크 뷰를 제공하고, 보다 고차원적인 분석으로 이미 등록되지 않은 공격 역시 찾아내려고 시도한다. PacketPig가 제공하는 기능은 다음과 같다.

  • Deep packet inspection, file extraction, feature extraction, and operating system detection
  • Detecting anomalies and intrusion signatures
  • Learn timeframe and identity of attacker
  • Triage incidents
  • “Show me packet captures I’ve never seen before.” : 정상 트래픽은 제거하고, 진짜 이상 트래픽만 보여줌

실제 고객의 100Mbps 인터넷 연결의 6주간 3TB 패킷 데이터를 분석했고, 대략 500,000개 공격을 담고 있었다. 이러한 규모의 데이터에 대해 이와 같은 정밀도의 분석은 기존 도구로는 정말 어려운 작업이라고 한다. 더욱 중요한 것은 Zero Day 공격에 대한 탐지 가능성도 입증했는데, 실제 2012년에 발생한 Windows XP 워크스테이션의 JRE 버그에 대한 Zero Day 공격을 탐지하는 방법을 보여 주고 있다.

활용하고 있는 기술을 보면, Hadoop과 Pig를 핵심적으로 사용하고 있고, 그 외 MongoDB, Cassandra, D3 등을 사용하고 있다. 또한 글을 잘 살펴보면, Amazon S3에 데이터를 저장하고 Amazon EMR 기반으로 분석을 하는 것을 알 수 있다. 즉, SaaS 서비스로 제공하다보니, 기반 분석 인프라를 클라우드 기반으로 구축한 것인데, 매우 현명한 선택이라 할 수 있다. PacketPig는 오픈소스이니 Hadoop 기반 패킷 분석에 관심있거나, Pig 활용 사례에 관심있다면 한번쯤 들여다 볼만하다.

이런 빅데이터 사례들이 해외에선 다수 발생하고 있고, 심지어 PacketLoop와 같이 클라우드 서비스화하여 사업으로까지 나오고 있다. Hadoop과 같은 오픈소스 빅데이터 기술이 등장하기 전까지는 그많은 패킷 데이터를 모두 까보고 깊은 수준의 분석까지 할 생각을 절대 못했을 것이다. 이와 같이 앞으로 점점 더 낮은 수준의 데이터까지 분석의 대상으로 바라보고, 기존에 하지 못했던 수준의 정밀한 결과를 얻어내는 시도들이 빅데이터 시대에 각광받을 것 같다.

 

Advertisements

Written by zeronova

2013/08/02 , 시간: 3:37 오후

Big Data에 게시됨

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

%d 블로거가 이것을 좋아합니다: