확률에는 두 가지 기본 법칙이 존재한다.
먼저 식을 한번 살펴보자.
하나는 합의 법칙이며, 다른 하나는 곱의 법칙이다.
위의 수식이 합의 법칙, 밑의 수식이 곱의 법칙이다.
예제 그림을 한번 살펴보자.
먼저 확률 변수 X,Y가 존재하며 X는 i의 값을 Y는 j의 값을 선택할 수 있다.
X,Y 각각에서 표본을 추출 시도의 수는 N이며 X = xi, Y = yi일때의 시도는 nij라 표현한다.
그리고 Y와 상관없이 X = xi일 경우를 ci, X와 상관없이 Y = yi일 경우를 rj라 표현한다.
X가 xi Y가 yi일 확률을 결합 확률(joint probability)라 말하며 밑의 식과 같다.
간단한 식이지만, 해석해보면 이 결합 확률은 N번 시행하였을 경우, nij가 나타날 확률이다.
Y값과 상관없이 x = xi일 경우를 ci라 하였다.
결론적으로 이 식은 다음과 같다.
또한 ci는 이와 같이 표현 가능하다.
따라서 X = xi일 경우에는 최종적으로 밑의 식과 같아진다.
이를 확률의 합의 법칙(sum rule)이라 부르며, 주변 확률(marginal probability)이라고도 불린다.
여기서, X = xi의 사례들만 고려하고 있을 때, Y =yj인 사례의 비율을 고려해보자.
이를 p(Y = yj | X = xi)로 표현할 수 있으며, 이를 조건부 확률(Conditional Distribution)이라 부른다.
또한 이러한 조건부 확률을 다음과 같은 식으로 표현 가능하다.
또한 위의 조건부 확률 식과, X = xi의 경우, 결합 확률 식을 이용하여 다음과 같은 식이 만들어진다.
이를 확률의 곱의 법칙(product rule)이라 칭한다.