루키의 보석함

Binary Variables에 이어 Multinomial에 대해서 정리해 보도록 하죠. Binary가 동전의 앞면/뒷면과 같은 경우를 이야기한다면, Multinomial은 주사위를 던지는 경우를 생각하면 될 것 같습니다. 즉 K=6의 상태를 가지고 있고, X3 = 1인 경우, 다음과 같이 나타낼 수 있습니다. 확률이므로 K=1부터 6까지의 X의 전체 합은 1이 되겠죠. 독립이므로 여러번 주사위를 던질때 확률은 다음과 같이 곱으로 계산할 수 있습니다. (k에 대한 평균이 파라미터로 주어졌을 때, Xk가 나올 확률을 의미합니다.) 이때, 파라미터로 사용하는 평균은 다음과 같은 조건을 가지고 있습니다. 이번에는 X1에서 Xn까지의 독립 관측에서의 데이터 셋을 D라고 할 때, 다음과 같은 likelihood ..

베이시안(Bayesian) 정리를 살펴보면 다음과 같은 식을 이야기 했었습니다. 여기서 Posterior 확률을 구하는 것이 문제인데요. 예를 들어, 만약 p(w)를 남편이 바람 필 확률이라고 해보죠. 그리고 p(D)가 셔츠에서 입술자국이 나올 확률이라고 가정해 보겠습니다. (예제가 좀 그런가요? ㅠㅠ) 이때 Posterior인 p(w|D)는 셔츠에서 입술자국이 나왔을 때 바람필 확률이라고 보면 됩니다. 즉, 만약 남편 셔츠를 봤는데 입술자국이 있으면 실제로 바람을 폈을 확률이 어떻게 될지를 예측할 수 있다는 것이죠. 만약 Bayesian으로 Posterior를 계산한다고 할 때, 각 항목이 일반적인 분포를 따르지 않는다고 하면 도출하는 방식이 매우 복잡해질 수 있다는 것입니다. 반대로 likelihoo..

이전에 살펴본 베이즈 확률(Bayesian Probabilities)과 가우스 분포(Gaussian Distribution) 에서 Frequentest와 Bayesian에 대해서 정리를 했었습니다. 실제 Curve Fitting에서 이 두가지 방식이 어떻게 적용되는지 살펴보도록 하죠. Curve Fitting에 대해서는 기계학습 첫 강좌에서 설명했었습니다. 주어진 입력값 x에 대한 타겟을 t라고 했을 때, x에 대응하는 값 y(x, w)에 대해 다음과 같은 관계가 성립한다고 합니다. 다음 그림을 옆으로 보면 y(x,w)에 대해 정규 분포의 형식을 가지고 있는 것을 알 수 있습니다. 정규분포를 따르므로 y(x,w)는 평균, β−1은 분산이 된다는 것을 알 수 있습니다. 앞서 정리한 가우스 분포(정규 분포)..

확률에서 많이 사용하는 베이즈 정리는 "확률 - 일어날 가능성을 측정하는 방법"의 끝부분에도 간략하게 정리했었습니다. 이번에는 베이즈 정리를 좀 더 깊이있게 알아보도록 하죠. 베이즈 확률 (Bayesian Probabilities) 실생활에서 베이즈 정리는 스펨 메일 필터링이나 유전자 검사 등에서 활용한다고 했습니다. 기계학습에서도 이런 베이즈 정리를 많이 사용하는데요. 이전의 기계학습 예제를 설명할 때, Training Set에서 주어진 X에 대해 적절한 곡선을 만들어 주는 것을 Curve fitting이라고 했었습니다. 이러한 Curve fitting을 하는 방법이 보통 두가지가 있는데요. 하나는 Frequentist treatment이고 나머지 하나가 Bayesian treatment입니다. 여기에..

확률(Probability)확률을 왜 배워야 할까요? 확률은 어떤 일이 발생할 가능성을 측정함으로써 미래를 예측할 수 있도록 합니다. 이렇게 어떤 일이 일어날 가능성을 미리 파악함으로써 실제 정보를 바탕으로 의사 결정을 내릴 수 있도록 도와줄 수 있습니다. 그렇다면 확률은 어떻게 구하게 될까요? 확률은 0과 1사이의 값을 갖게 되는데요. A라는 사건이 일어날 확률을 구하는 방식은 다음과 같습니다. 여기에서 n(S)는 전체 경우의 수이고 n(A)는 사건 A가 일어날 수 있는 경우의 수를 나타냅니다. 그렇다면 만약 사건 A가 일어나지 않을 확률은 어떻게 구할까요? 이것을 A'라고 표시하고 사건 A에 대한 여사건(complementary event)라고 합니다. 사건 A가 일어날 확률과 사건 A가 일어나지 않..