초짜공대생의공부노트

1. 메시지 해석 관점 2. 사슬 그래프에서의 수식과 추론 (마르코프 연쇄 / 채프만-콜모고로프) 3. Factor Graph 4. Tree

지금까지 PRML 8장에서 베이지안 네트워크와 조건부 독립에 대해 다루었는데 이에 관한 모든 기반은 그래프의 성질이 방향성을 띄고 있다는 것이었다. 반면에 이번 포스팅에서 다룰 마르코프 네트워크, 비방향성 그래프 모델이라 알려진 마르코프 무작위장(Markov Random Field)에 대해 다루어 보고자 한다. 위의 그래프를 본다면, 화살표가 존재하지 않고 링크로만 이어져 있다. A와 B 사이에 모든 경로가 차단되어 있을 경우, 즉 C가 방향을 전부 차단할 경우 이는 조건부 독립이다. 또한 C와 연결되어 있는 모든 노드들을 삭제하고 A와 B 사이의 링크가 없다면 조건부 독립 성질을 만족한다. 베이지안 네트워크(방향성 그래프)와 비교했을 때, d-구분을 사용하지 않아도 간단하게 조건부 독립 성질을 구할 수..

고등학교 확률과 통계 시간에, 독립과 종속이라는 개념에 대해서 배웠을 것이다. 어떤 사건이 일어날 때, 확률 변수 x와 y는 과연 관련이 있는가? 관련이 있으면 서로에 대해 종속, 그렇지 않으면 독립이라는 간단한 개념이다. 오늘 다룰 것은 만약 이러한 상관관계에 대해서 '조건'이라는 개념이 들어가게 된다면 어떠한 상황이 벌어지는가? 에 대해 알아보고자 한다. 여기 세 개의 변수 a, b, c가 존재한다. 그리고 b,c라는 확률 변수가 주어졌을 때, a의 조건부 분포는 밑의 식과 같이 간단히 나타낼 수 있다. 그렇다면 여기서 b는 a에 종속적이지 않은 변수라고 해보자. 결합 분포는 다음과 같이 나타낼 수 있다. 그렇다면 c라는 확률 변수 하나만 주어질 경우는 어떻게 될까? 여기서 PRML 1장 Introd..

복잡한 확률 분포를 도식적으로 표현하는 것을 확률적 그래프 모델(Probablistic Graphical Model)이라 부른다. 이러한 그래프는 노드(node)와 링크(link)로 구성되어 있으며 확률적 그래프 모델, PGM에서의 각각의 노드는 확률 변수 또는 변수들의 그룹을 의미하며 링크는 이러한 변수들의 관계를 표현한다. 그래프 모델의 종류에는 두 가지가 존재한다. 방향성 그래프 모델(directed graphical model), 또는 베이지안 네트워크(Bayesian Network)라 불린다. 이 그래프 모델에서는 링크들이 방향성을 가지게 되는 화살표로 표시한다. 다른 그래프 모델은 비방향성 그래프 모델(undirected graphical model) 또는 마르코프 무작위장(Markov ran..