루키의 보석함

Binary Variables에 이어 Multinomial에 대해서 정리해 보도록 하죠. Binary가 동전의 앞면/뒷면과 같은 경우를 이야기한다면, Multinomial은 주사위를 던지는 경우를 생각하면 될 것 같습니다. 즉 K=6의 상태를 가지고 있고, X3 = 1인 경우, 다음과 같이 나타낼 수 있습니다. 확률이므로 K=1부터 6까지의 X의 전체 합은 1이 되겠죠. 독립이므로 여러번 주사위를 던질때 확률은 다음과 같이 곱으로 계산할 수 있습니다. (k에 대한 평균이 파라미터로 주어졌을 때, Xk가 나올 확률을 의미합니다.) 이때, 파라미터로 사용하는 평균은 다음과 같은 조건을 가지고 있습니다. 이번에는 X1에서 Xn까지의 독립 관측에서의 데이터 셋을 D라고 할 때, 다음과 같은 likelihood ..

베이시안(Bayesian) 정리를 살펴보면 다음과 같은 식을 이야기 했었습니다. 여기서 Posterior 확률을 구하는 것이 문제인데요. 예를 들어, 만약 p(w)를 남편이 바람 필 확률이라고 해보죠. 그리고 p(D)가 셔츠에서 입술자국이 나올 확률이라고 가정해 보겠습니다. (예제가 좀 그런가요? ㅠㅠ) 이때 Posterior인 p(w|D)는 셔츠에서 입술자국이 나왔을 때 바람필 확률이라고 보면 됩니다. 즉, 만약 남편 셔츠를 봤는데 입술자국이 있으면 실제로 바람을 폈을 확률이 어떻게 될지를 예측할 수 있다는 것이죠. 만약 Bayesian으로 Posterior를 계산한다고 할 때, 각 항목이 일반적인 분포를 따르지 않는다고 하면 도출하는 방식이 매우 복잡해질 수 있다는 것입니다. 반대로 likelihoo..