복잡한 확률 분포를 도식적으로 표현하는 것을 확률적 그래프 모델(Probablistic Graphical Model)이라 부른다.
이러한 그래프는 노드(node)와 링크(link)로 구성되어 있으며 확률적 그래프 모델, PGM에서의
각각의 노드는 확률 변수 또는 변수들의 그룹을 의미하며 링크는 이러한 변수들의 관계를 표현한다.
그래프 모델의 종류에는 두 가지가 존재한다.
방향성 그래프 모델(directed graphical model), 또는 베이지안 네트워크(Bayesian Network)라 불린다.
이 그래프 모델에서는 링크들이 방향성을 가지게 되는 화살표로 표시한다.
다른 그래프 모델은 비방향성 그래프 모델(undirected graphical model) 또는 마르코프 무작위장(Markov random field).
링크는 화살표로 표시되지 않으며 방향적인 의미를 가지지 않는다.
방향성 그래프의 경우에는 확률 변수 간의 인과 관계를 표현하는데 유용하며,
비방향성의 경우, 확률 변수 간의 유연한 제약 관계를 표현하는데 적합하다.
이번 포스팅에는 베이지안 네트워크 를 다루어 본다.
a,b,c의 결합 분포(Joint Distribution)가 밑의 식처럼 주어져 있다.
확률의 곱의 법칙을 활용하면 이와 같은 식을 얻게 된다.
이러한 분해는 어떤 종류의 결합 분포에 대해서든 적용할 수가 있다.
위의 결합 분포를 그림으로 나타낼 수 있다.
여기서 a는 b,c의 부모(parent)노드이며 b와 c는 a의 자식(child)노드이다.
위의 그림을 조금 더 확장해보자.
K개의 변수가 있으며 결합 분포 p(x1 , ... , xK)가 존재한다.
곱의 법칙을 반복적으로 적용하면 이러한 결합 분포를 조건부 분포들의 곱으로 표현 가능하다.
이럴 경우, 각각의 변수당 하나씩 조건부 분포가 곱의 법칙에 사용된다.
따라서 선택된 K에 대해 해당 결합 분포를 가지는 K개의 노드를 가지는 방향성 그래프로 표현할 수 있다.
이 그래프는 모든 노드 쌍 사이에 연결이 존재하므로, 완전 연결(Fully Connected)라 표현한다.
반면에 위의 그래프는 방향성 비순환 그래프이다. x1에서 x2로 가는 링크가 없는 부재(absence) 상황이기 때문이다.
위의 그래프들의 예시를 보았을 때, 우리는 위와 같은 분포들을 간단히 나타낼 수 있다.
여기서 pa_k는 xk의 부모 노드들을 지칭한다.
또한 x = {x1, ... , xK}이다.
즉 이러한 결합 분포는 방향성 그래프의 모델에서 결합 분포의 인수분해 성질을 표현하고 있다.
또한 방향성 그래프는 중요한 제약을 하나 가지고 있는데, 바로 방향성 순환이 없어야 한다.
즉 x1 노드에서 출발을 해서 원래의 노드인 x1에 돌아오게 되는 순환경로가 없어야 한다.
이러한 그래프를 방향성 비순환 그래프(directed acycle graph. DAG)라 한다.
이유는 간단하다. 다시 돌아오게 되면, 각 변수의 모든 확률이 1이 되어야 하기 때문이다.
(방향성 그래프의 의미가 없어지기 때문)
PRML 책에서는 총 4가지 예시가 주어진다.
첫 번째로는 다항 근사이다.
베이지안 다항 회귀 모델을 고려해보자.
다항 계수의 벡테 w와 관측된 데이터 t = (t1 , ... , tN)^T 가 존재한다.
추가적으로 입력데이터 x와 노이즈 분산, w에 대한 매개변수는 제외하고 고려한다.
이 결합 분포는 다음과 같이 그래프 모델로 표현 할 수 있다.
<그림 .1>
<그림 .2> 그림 1을 간단하게 판(Plate)을 사용한 그림
추가적인 매개변수(결정적 매개변수)가 존재할 경우, 밑의 그림과 같이 조그마한 점처럼 표시하게 된다.
사실, 책에서 소개하는 다항 근사 모델같은 경우는 "이렇게 표현하는 방법이 있습니다" 라는 식으로 소개하기 때문에
계산과 관련된 것을 보려면 PRML 3장을 보아야 한다.
'PRML > Chapter 8. Graphical Models' 카테고리의 다른 글
| 8.4 그래프 모델에서의 추론 (Inference in Graphical Models)_(1) (0) | 2022.09.28 |
|---|---|
| 8.3 마르코프 무작위장 (Markov network) (0) | 2022.09.16 |
| 8.2 조건부 독립(Conditional Independence) (0) | 2022.09.16 |