루키의 보석함

작년과 올해 발표된 가트너의 Hype Cycle을 기반으로 빅데이터, IoT 기술의 동향을 정리해 보려고 한다. 2014년에는 "빅데이터", "데이터 과학", "사물인터넷" 이 언급되었었는데, 2015년에는 "빅데이터"가 사라지고 "기계학습", "고급 분석", "시민 데이터 과학", "사물인터넷", "사물인터넷 플랫폼"이 등장했다. Gartner's 2014 Hype Cycle 빅데이터는 이제 환상을 점차 걷어내고 있는 추세로 2014년 가트너는 이야기했다. 그래도 안정화까지는 5~10년 정도 소요 될 것으로 보고 있다. 데이터 과학은 떠오르고 있는 분야로 설명하고 있고, 최고 정점에 올라 있는 것으로는 사물인터넷(IoT)를 이야기 하고 있다. Gartner's 2015 Hype Cycle 2015년에는..

기계학습(Machine Learning)에 대해서 관심이 높아지는 것 같습니다. 하지만 관련된 자료가 많지 않은 듯 해서 올려봅니다. 먼저 최근 Facebook 친구가 되신 분의 타임라인에 올라와서 확인한 자료인데요. 빅데이터에서의 기계학습(Machine Learning on Big Data)로서 잘 구성된 것 같습니다. 이 자료에 대한 설명과 함께 들으면 좋겠다는 생각이 들기도 하네요.. Machine Learning on Big Data from Max Lin 그리고 스탠포드 대학의 Andrew Ng 교수의 Machine Learning 강의도 훌륭합니다. iTunes University에서 "Machine Learning"으로 검색해도 나오구요. Coursera에서도 무료로 볼 수 있습니다. (ht..

Christoper M. Bishop이 쓴 "Pattern Recognition and Machine Learning" 이란 책을 스터디하고 있습니다. 기계학습(Machine Learning)을 배워보기 위해서 살펴보고 있는데요. 책이 재미있으면서도 조금은 난이도가 있네요. 기계학습이란? 기계학습은 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야를 의미합니다. 이를 통해 다양한 패턴 인식이나 예측등을 수행할 수 있겠죠. 기계학습을 하기위해서는 수학적 배경 지식들이 중요한데요. 이 책에서도 1장에서 베이즈확률(Bayesian probabilities)와 함께 정규분포를 다룬 Gaussian Distribution 등 여러가지 이야기들이 나오고 있습니다. 앞으로 계속 하나씩 정리해 보도록 하죠. ..

빅데이터의 사례로 가장 많이 이야기하는 것이 바로 "Google 독감 트렌드"입니다. 구글에 집계된 검색어를 기반으로 세계 여러 국가의 독감 유행 수준에 대한 예상 수치를 제공하는 것인데요. 이를 기반으로 빅데이터에 대한 전략이 어떻게 만들어졌는지 한번 생각해 보기로 했습니다. 데이터 수집구글 검색어가 자동으로 구글의 서버에 쌓이게 되므로 데이터의 축적은 기본적으로 이루어졌을 것입니다. 또한 검색어는 시간에 따른 분포를 나타낸다는 점과 IP를 통한 위치를 파악할 수 있다는 것을 활용한 것이라 볼 수 있습니다. 즉, 검색어, 시간대, 그리고 위치 정보를 활용해서 독감 트렌드를 분석해 낸 것이죠. 먼저 독감(ILI - influenza likeness illness)과 관련된 키워드(ILI-related q..