루키의 보석함

확률에서 많이 사용하는 베이즈 정리는 "확률 - 일어날 가능성을 측정하는 방법"의 끝부분에도 간략하게 정리했었습니다. 이번에는 베이즈 정리를 좀 더 깊이있게 알아보도록 하죠. 베이즈 확률 (Bayesian Probabilities) 실생활에서 베이즈 정리는 스펨 메일 필터링이나 유전자 검사 등에서 활용한다고 했습니다. 기계학습에서도 이런 베이즈 정리를 많이 사용하는데요. 이전의 기계학습 예제를 설명할 때, Training Set에서 주어진 X에 대해 적절한 곡선을 만들어 주는 것을 Curve fitting이라고 했었습니다. 이러한 Curve fitting을 하는 방법이 보통 두가지가 있는데요. 하나는 Frequentist treatment이고 나머지 하나가 Bayesian treatment입니다. 여기에..

확률과 관련한 Sum Rule과 Product Rule에 대해서 살펴봤는데요. 주로 이산 변수에 대한 확률이라면 이번에는 연속 변수에 대한 확률을 정리해 보도록 하죠. Probability Density 연속 함수는 다음과 같은 그림으로 나타낼 수 있습니다. 연속 함수의 확률을 구하기 위해서는 각 구간을 조그맣게 자르고 그 간격을 δx라고 표시합니다. 그리고 연속함수의 임의의 변수 x가 (x, x+δx)에 있다고 할 때, 변수 x가 나올 확률은 p(x)δx로 표시할 수 있습니다. 최종적으로 (a, b) 구간 사이에 변수 x가 있을 확률은 위에서 구한 p(x)δx를 모두 합하면 됩니다. 연속함수이므로 이러한 합을 구하는 것은 바로 적분을 사용하면 됩니다. 확률이므로 p(x)는 0보다 크고 모든 확률의 합은..

기계학습에서 많이 사용하는 확률 이론에 대해서 살펴보도록 하겠습니다. 확률과 관련해서 처음 볼 경우에는 확률 - 일어날 가능성을 측정하는 방법 을 읽어보면 기본 개념을 이해할 수 있습니다. 여기에서는 비슷한 내용이기는 하지만 다른 방향에서 살펴보도록 하죠.. 다음 그림에서 전체 갯수가 N이라고 할 때, 임의의 값 x와 y가 동시에 나올 확률은 어떻게 될까요? x와 y가 동시에 나오는 경우를 전체 갯수로 나누면 되겠죠. 보통 동시에 나올 확률을 교집합으로 표기하기도 하는데, "Pattern Recognition and Machine Learning"에서는 다음과 같이 표시하네요. 이어서 임의의 x가 나올 확률은 다음과 같이 표시할 수 있습니다. 위 그림을 잘 살펴보면 직관적으로 확인할 수 있을 것입니다. ..

지난번에 이산확률분포에 대한 개념과 기대치, 분산을 구하는 방법에 대해서 정리해 봤습니다. 이어서 이산확률분포에서 사용할 수 있는 선형변환과 독립관측에 대해 살펴보기로 하겠습니다. 선형변환기대치를 구할 때 슬롯머신을 예로 들었는데요. 만약 슬롯머신이 게임당 1불에서 2불로 오르고. 당첨금도 5배가 올랐다고 생각해 보죠.. 이 경우, 기대치를 구하기 위해서는 각 수익에 대한 확률분포를 만들고 다음 공식을 사용하면 됩니다. 혹시 처음본다고 느끼시는 분은 이산확률분포#1 - 기대 수준을 관리 글을 다시 읽어 보시기 바랍니다. ^^ X를 Y로만 바꾼 겁니다. ㅠㅠ 그런데 우리는 이미 기존의 수익 X와 기대치 E(X), 그리고 분산 Var(X)까지 값을 알고 있습니다. 처음부터 하나씩 계산하지 않고 이런 정보를 ..

확률(Probability)확률을 왜 배워야 할까요? 확률은 어떤 일이 발생할 가능성을 측정함으로써 미래를 예측할 수 있도록 합니다. 이렇게 어떤 일이 일어날 가능성을 미리 파악함으로써 실제 정보를 바탕으로 의사 결정을 내릴 수 있도록 도와줄 수 있습니다. 그렇다면 확률은 어떻게 구하게 될까요? 확률은 0과 1사이의 값을 갖게 되는데요. A라는 사건이 일어날 확률을 구하는 방식은 다음과 같습니다. 여기에서 n(S)는 전체 경우의 수이고 n(A)는 사건 A가 일어날 수 있는 경우의 수를 나타냅니다. 그렇다면 만약 사건 A가 일어나지 않을 확률은 어떻게 구할까요? 이것을 A'라고 표시하고 사건 A에 대한 여사건(complementary event)라고 합니다. 사건 A가 일어날 확률과 사건 A가 일어나지 않..