초짜공대생의공부노트

포스팅은 정말로 오랜만인데, 다시 마음 가다듬고 공부하면서 정리해보고자 합니다. (정말 문외한으로서, 이제 시작한거라서 틀린 정보가 가득할 수도 있습니다.) 먼저 Convex Optimization을 공부해야 하는 이유는, 신경망 구조에서 나오는 출력의 Cost를 줄이기 위해서, 통신 상황에서는 주어진 시나리오에서의 sum rate를 최대화하거나, 한정된 자원(resourses, power such as battery of own devices)에서 Interferece를 최소화하거나, lifespan을 최대화하는 문제들을 풀어야하기 때문이다. 따라서 이러한 Mathematical optimization problems를 아래와 같이 정의해볼 수 있을 것이다. 아래와 같은 Constraints들이 있고,..

1. 메시지 해석 관점 2. 사슬 그래프에서의 수식과 추론 (마르코프 연쇄 / 채프만-콜모고로프) 3. Factor Graph 4. Tree

지금까지 PRML 8장에서 베이지안 네트워크와 조건부 독립에 대해 다루었는데 이에 관한 모든 기반은 그래프의 성질이 방향성을 띄고 있다는 것이었다. 반면에 이번 포스팅에서 다룰 마르코프 네트워크, 비방향성 그래프 모델이라 알려진 마르코프 무작위장(Markov Random Field)에 대해 다루어 보고자 한다. 위의 그래프를 본다면, 화살표가 존재하지 않고 링크로만 이어져 있다. A와 B 사이에 모든 경로가 차단되어 있을 경우, 즉 C가 방향을 전부 차단할 경우 이는 조건부 독립이다. 또한 C와 연결되어 있는 모든 노드들을 삭제하고 A와 B 사이의 링크가 없다면 조건부 독립 성질을 만족한다. 베이지안 네트워크(방향성 그래프)와 비교했을 때, d-구분을 사용하지 않아도 간단하게 조건부 독립 성질을 구할 수..

고등학교 확률과 통계 시간에, 독립과 종속이라는 개념에 대해서 배웠을 것이다. 어떤 사건이 일어날 때, 확률 변수 x와 y는 과연 관련이 있는가? 관련이 있으면 서로에 대해 종속, 그렇지 않으면 독립이라는 간단한 개념이다. 오늘 다룰 것은 만약 이러한 상관관계에 대해서 '조건'이라는 개념이 들어가게 된다면 어떠한 상황이 벌어지는가? 에 대해 알아보고자 한다. 여기 세 개의 변수 a, b, c가 존재한다. 그리고 b,c라는 확률 변수가 주어졌을 때, a의 조건부 분포는 밑의 식과 같이 간단히 나타낼 수 있다. 그렇다면 여기서 b는 a에 종속적이지 않은 변수라고 해보자. 결합 분포는 다음과 같이 나타낼 수 있다. 그렇다면 c라는 확률 변수 하나만 주어질 경우는 어떻게 될까? 여기서 PRML 1장 Introd..

베이즈 필터를 기반으로 하는 칼만필터(Kalman Filter)는 여러 분야에 많이 쓰인다. 자이로 센서, GPS 등, 측위하는데 있어 오차를 제거하기 위해 이용한다. 결론적으로 불확실한 관측으로부터 질 좋은 정보를 얻는 것이 칼만 필터의 목적이다. 이전 장에서 언급했듯이, 모델은 2가지가 존재한다. Dynamical Model과 Observation Model(Measurement Model)이 두 가지이다. 칼만 필터의 알고리즘은 크게 3가지로 구성되어 있다. 초깃값 설정과, 예측 과정(Prediction Step), 추정 과정(Correction Step)이 존재한다. Step 0 State Model인 x0과 P0(오차 공분산) 값을 넣어 초깃값을 선정한다. Step 1 다음 과정에서는 Predi..

필터 이론이란 잡음 데이터가 존재 할 경우, 이러한 데이터를 근거하여 더 좋은 데이터. 즉, 잡음을 제거하기 위한 이론이라 정의 할 수 있겠다. 여기서 우리는 칼만 필터(Kalman Filter)에 초점을 맞추어 보려고 한다. 먼저 칼만 필터를 알기 위해서는 그 기초가 되는 베이즈 필터(Bayes Filter)에 대해 알아야 한다. 아, 참고로 여기서 언급하는 필터들은 모두, 재귀(Recursive) 성질을 가지고 있다. 왜 재귀를 따르는가? 아마 프로그래머 관련 직군들은 이를 이해하기 쉬울 것이다. (프로그램의 계산 비중을 줄이기 위해) 위의 식은 평균을 계산하는 배치식(batch expression)이다. 만약 이 평균 계산 식에서, 새로운 k+1번째의 데이터가 들어올 경우, 평균을 처음부터 다시 계..

복잡한 확률 분포를 도식적으로 표현하는 것을 확률적 그래프 모델(Probablistic Graphical Model)이라 부른다. 이러한 그래프는 노드(node)와 링크(link)로 구성되어 있으며 확률적 그래프 모델, PGM에서의 각각의 노드는 확률 변수 또는 변수들의 그룹을 의미하며 링크는 이러한 변수들의 관계를 표현한다. 그래프 모델의 종류에는 두 가지가 존재한다. 방향성 그래프 모델(directed graphical model), 또는 베이지안 네트워크(Bayesian Network)라 불린다. 이 그래프 모델에서는 링크들이 방향성을 가지게 되는 화살표로 표시한다. 다른 그래프 모델은 비방향성 그래프 모델(undirected graphical model) 또는 마르코프 무작위장(Markov ran..

확률에는 두 가지 기본 법칙이 존재한다. 먼저 식을 한번 살펴보자. 하나는 합의 법칙이며, 다른 하나는 곱의 법칙이다. 위의 수식이 합의 법칙, 밑의 수식이 곱의 법칙이다. 예제 그림을 한번 살펴보자. 먼저 확률 변수 X,Y가 존재하며 X는 i의 값을 Y는 j의 값을 선택할 수 있다. X,Y 각각에서 표본을 추출 시도의 수는 N이며 X = xi, Y = yi일때의 시도는 nij라 표현한다. 그리고 Y와 상관없이 X = xi일 경우를 ci, X와 상관없이 Y = yi일 경우를 rj라 표현한다. X가 xi Y가 yi일 확률을 결합 확률(joint probability)라 말하며 밑의 식과 같다. 간단한 식이지만, 해석해보면 이 결합 확률은 N번 시행하였을 경우, nij가 나타날 확률이다. Y값과 상관없이 x..