루키의 보석함

현재 빅데이터 관련 기술로 Hadoop이 주로 활용되고 있습니다. 그러나 최근 실시간 처리에 대한 요구가 늘어나면서 점차 In-Memory 기술에 대한 관심도 증가하고 있습니다. 과거 실시간 처리를 위한 OLTP로서 데이터베이스를 주로 사용했지만, 빅데이터 환경에서는 빠르게 생성되는 데이터 스트림을 처리하기 위해서 새로운 접근법이 필요한 것이죠. 빅데이터 분석 기술에 대한 정리 에서도 Hadoop이외의 다른 기술들을 살펴보면서, 구글에서는 Dremel을 통해 짧은 시간내에 수많은 데이터를 처리하기도 한다고 이야기했었습니다. 처리하는 영역은 조금씩 다르지만 실시간이라는 이슈를 위해 주로 사용되는 기술들에 대해서 정리해 보도록 하겠습니다. Redis Redis는 "Remote dictionary System..

미니 서평 빅데이터의 높은 관심 최근 TV 프로그램을 보니 20회 특집에서 빅데이터 분석을 통한 해당 프로그램의 현재 상태를 진단하는 것을 봤는데요. 빅데이터가 이제는 전문가들만이 사용하는 것이 아니라, 누구나 이용할 수 있는 단계로 점차 나아가고 있다는 생각이 들었습니다. 실제로 빅데이터 관련 서적들이 봇물처럼 쏟아져 나오고 있으니 그만큼 관심이 높다는 것이겠죠. 제가 이미 읽었던 기술 부분이 아닌 빅데이터 개념과 관련된 책들도 다음과 같네요. 2013/02/22 - [리뷰/도서] - 빅데이터가 만드는 비즈니스 미래지도 - 미래 경제를 움직이는 거대한 데이터 혁명 2012/12/24 - [리뷰/도서] - 빅데이터 경영을 바꾸다 - 빅데이터 시대의 새로운 기회를 찾아서 2012/11/26 - [리뷰/도서..

빅데이터를 위해서는 크게 세가지 분야의 기술이 필요합니다. 첫째, 데이터의 획득 및 생성하기 위한 센서나 디바이스에 적용할 기술이 있습니다. 둘째, 데이터를 축적하기 위해 병렬처리와 같은 아키텍처나 스토리지가 관련 기술이 필요합니다. 마지막으로 축적된 데이터를 분석하기 위해 하둡과 같은 기술들이 필요하겠죠. 이번에는 축적된 빅데이터를 분석하는 기술에 대해서 한번 정리해 보려고 합니다. 흔히 빅데이터 = 하둡 이라고 생각을 많이 합니다. 전혀 틀린 이야기는 아니지만 하둡이 만능은 아니라는 점을 확실히 이야기 하고 싶습니다. 하둡은 다음과 같은 장점 때문에 빅데이터의 분석 기술로 각광받고 있습니다. 대용량 비정형 데이터를 기반으로 함.HDFS와 맵리듀스를 활용하여 쉽게 분산 처리가 가능함.PC급의 하드웨어 ..