빅데이터가 를 이용한 실제 사례들!

빅데이터는 통상적으로 사용되는 데이터 수집, 관리 및 처리 소프트웨어의 수용 한계를 넘어서는 크기의 데이터들을 말하는데 빅데이터의 사이즈는 다닝ㄹ 데이터의 집합의 크기가 수십테라 바이트에서 수 페타바이트에 이르며, 그크기가 끊임 없이 변화하는 것이 특징이다.

가트너의 3V 정의가 여전히 널리 사용되고 있는 가운데, 데이터와 그것의 사용 방법에 있어서 빅 데이터와 경영정보학의 차이가 점차 더 뚜렷하게 구분되고 있다.

빅데이터의 분석기법은 크게 분석기술 과 표현기술로 나뉜다.

분석기술은 대부분의 빅데이터 분석기술과 방법들은 기존 통계학과 전산학에서 사용되던 데이터 마이닝, 기계학습, 자연언어 처리, 패턴 인식 등이 해당된다.

소설 미디어등 비정형 데이터의 증가로 인해 분석 기법들 중에서 텍스트 마이닝, 오피니언 마이닝, 소셜네트워크 분석, 군집분석 등이 주목 받고 있다.

텍스트 마이닝은 비/반정형 테스트 데이터에서 자연언어처리 기술에 기반하여 유용한 정보를 추출하고 가공한다.

오피니언 마이닝은 소설미디어 등의 정형/비정형 텍스트의 긍정, 부정, 중립의 선호도를 판별한다.

소설네트워크분석은 소셜네트워크의 연결 구조 및 강도 등을 바탕으로 사용자의 명성 및 영향력을 측정한다.

군집분석은 비슷한 특성을 가진 개체를 합쳐가면서 최종적으로 유사 특성의 군집을 발구한다.

대규모의 정형/비정형 데이터를 처리하는 데 있어 가장 기본적인 분석 인프라도 하둡이 있으며 데이터를 유연하고 더욱 빠르게 처리하기 위해 noSQL 기술이 활용되기도 한다.

표현기술은 빅테이터의 분석 기술을 통해 분석된 데이터의 의미와 가치를 시각적으로 표현하기 위한 기술로 대표적인 것은 R이 있다.

빅데이터 활용 사례들을 보면 다음과 같다.

2008년 미국 대통령 선거 

2008 년 미국 대통령선거에서 버락 오바마 미국 대통령 후보는 다양한 형태의 유권자 데이터베이스를 확보하여 이를 분석, 활용한 '유권자 맞춤형 선거 전략'을 전개했다.

대한민국 제 19대 총선

중앙선거관리위원회는 대한미국 제 19대 총선부터 소셜 네트워크 등 인터넷 상의 선거 운동을 상시허용하였다. 이에 소셜 미디어상에서 선거 관련 데이터는 증폭이되었고 소셜네트워크 활용이 주목되었다.

미국 구립해양대기청과 미국국립기상청

NOAA은 50년전부터 빅데이터를 다뤘다. 매년 30페타바이트의 신규 데이터를 관리하고, 매일 35억 개의 위성, 선박, 항공기, 부표 등에 장착 된 센서에서 데이터를 수집한다. 그리고 그 대기, 해양, 지상 데이터의 직접적 측정치를 모아 복잡하고 정확도가 높은 예측 모델링과 함께 NWS에 제공한다. NWS의 모델들은 매일 기상 경보, 미국 국방부와 나사 등의 정부 기관을 포함한 여러 공공과 민간 부분 예측을 위해 제공된느 기상 경보와 안내 결과물을 수 백만 가지들을 만들어 낸다.

미국 국세청 컴프라이언스 DW

1996년, 미국 국세청은 분석을 위한 단일 연도 세금 보고서를 업로드하는 프로젝트를 시작했다. 차후 이 프로젝트는 1페타바이트가 넘는 정보를 가진 컴플라이언스 데이터 웨어하우스로 이어졌다. 대부분의 오래된 데이터들은 정형화되었지만, 전자발송된 세금 보고서, 국제 세금 조약 파트너들과 외부업체에서 취합한 신규데이터는 XML, 혹은 다른 반정형/비정형 포맷으로 들어온다. IRS조사 그룹은 이데이터에 분석을 통해서, 업계의 세금탈루를 예측하여 미국 과세를 격차를 추산하고, 납세자들의 세액을 측정하고, 정책변경의 세금 행동에 대한 영향을 시뮬레이션한다.

테라에코스 주변 침입 감지

테라에코스는 핵심 인프라를 보호하고 모니터하는 기술에 특화되어 있다. 고객들 중에는 미국 에너지부 연구소가 있는데, 그들의 과학적 지식, 기술, 자원을 지키기 위해 테라에코스에 의존하고 있다. 잠재적위협들을 감지하고, 분류하고, 위치지정하고, 추적하는 기술 솔루션을 필요로 했지만, 몇마일 떨어진 곳에서 불어오는 바람의 속삭이는 소리를 분간해내는 솔루션을 특히 원했다. 그렇게 하기위해 솔루션은 센서와 분석 소프트웨어 고성능 컴퓨팅을 사용하여, 인간과 동물의 움직임에서부터 기상 상태까지에 걸친 막대한 양의 유동 정보를 연속적으로 소비하고 분석한다.