루키의 보석함

아파치 진영을 중심으로 하둡 기반의 다양한 어플리케이션을 통해서 실시간 처리, 기계학습, 그래프 분석 등을 수행하고 있다. 하둡의 기본 개념이 구글 시스템에서 시작된 만큼 먼저 구글의 분산 처리 구성을 살펴본다. 그리고 아파치에서 제공하는 하둡 에코시스템의 구성을 알아본 후, 클라우데라, 페이스북, 야후, 링크드인 등에서 이를 활용하는 구조를 정리해 본다. 결국 회사의 용도에 맞춰서 기술들을 잘 조합해서 사용하는 것이 관건인 듯하다. 물론 필요에 따라 클라우데라의 임팔라나 링크드인의 카프카와 같이 직접 만들수도 있지만 말이다. 구글 빅데이터 스택 구글은 Chubby라는 'Coordination'을 사용하고, 데이터스토어로는 Big Table을 쓰고 있다. 그리고 맵리듀스의 상위 언어로 Sawzall을 사..

최근 야후가 마이크로소프트의 인수제안을 거부했는데요. 관련된 포스트들은 매우 많죠 ^^ Programmable Web에서 두 회사의 오픈 API에 대한 비교 자료를 올렸는데요.. 참고할 겸 해서 정리 해 봅니다. MS나 Yahoo나 최근 오픈 API에 많은 관심을 가지고 있습니다. 아마도 구글의 전략 성공에 따른 결과가 아닐까 하구요.. 또한 IT의 흐름이 점차 개방화 되기 때문이기도 할 텐데요. Programmable Web에서 이야기 한 바에 따르면, Yahoo는 28개의 오픈 웹 API를 제공하고 있고, MS는 22개의 오픈 웹 API를 제공하고 있다고 합니다. 둘을 합치면 총 50개의 API를 서비스하게 된다는 건데요.. 물론 중복되는 것도 많고 플랫폼을 서로 합치는 것도 어려움이 있어 보인다고 ..

구글, 애플의 신제품이나 새로운 서비스는 국내 블로그에서 바로 이슈화가 됩니다. 실제로 구글이나 애플의 글만 소개하는 블로거도 많구요.. 맥월드 이후 며칠동안 올블로그 메인에는 "애플", "맥", "스티브잡스" 키워드가 자리를 잡고 있었으니까요. 물론 저도 구글이나 애플 관련 포스팅을 많이 하는 편이기는 합니다. ^^ (확실히 방문자 수가 늘어나거든요 -.-) 그런데 야후도 나름대로 열심히 새로운 것을 발표하고 시도해보는 것 같습니다만, 국내에서의 전혀 관심을 끌지 못하고 있습니다. 애드센스와 같이 일반 블로거들을 위한(?) 수익 모델을 제공하지 못해서 인지 애플처럼 이벤트와 포장을 잘 못해서인지.. 어쩌면 다른 곳에서 한것을 따라하기만 하지, 자신들만의 모델을 먼저 발표하지 못한 것이 가장 큰 이유가 ..

국내 인터넷 광고의 대표주자인 오버추어에서 새로운 플랫폼을 내놓았다고 합니다. '파나마'라는 프로젝트명으로 알려져 있다고 하는데요.. '파나마' 소개 동영상은 다음과 같습니다. Video: Yahoo Overture Panama Launch in Korea 주요 특징은 다음과 같다고 하네요.. - 광고 효과를 쉽게 이해할 수 있도록 한 쉬운 제어판 - 여러가지 광고 문구 중 효과적인 것을 노출하는 광고 문구 테스트 - 예산에 맞춰 비용을 관리할 수 있는 캠페인 예산 설정 - 시/도 수준으로 광고 노출 지역을 좁힐 수 있는 광고 지역 설정 - 단 몇 분만에 즉시 온라인 광고 노출이 가능한 즉시 광고 온라인 - 광고 문구의 효과를 측정해 투자수익을 극대화하는 광고 평가지수 자세한 내용은 떡이떡이 님의 '입찰..