초짜공대생의공부노트

기존 PRML 책에서 나온 예제들을 통해서 Bayesian network에 대해 깊숙히 이해해보고자 한다.신경망 학습을 위해서 가장 중요한 것은 파라미터를 어떻게 하면 줄여서 학습 로드를 감소시킬 수 있는지가 중요하다.픽셀 256개의 이미지면 2의 256승 -1의 파라미터를 가지고 있기에, 이대로 학습을 돌릴 수 없으니,어떻게 파라미터를 감소시키는지를 이해할 필요가 있다. 특히 Generative model에서는 X자체의 확률 분포 P(X)나, P(X,Y)를 학습하는것이 목표인데,이 확률 분포를 통째로 학습하기에는 2^n-1이 너무 많으니 파라미터를 줄이면서 학습을 잘 해보자가 핵심이라고 볼 수 있다. 각각의 x가 서로 독립적이라면 아래와 같은 수식으로 나타낼 수 있다. 여기서 존재할 수 있는 가능한 ..

물리 엔진을 적용한 대용량 시뮬레이션을 구현 하는 것은 기업에서도, 학교에서도 연구소에서도 매우 중요한 과제 중 하나이다.미국에서 매년 열리는 HPC/SC에서도, Science journal이나 Nature에서조차 novelty가 매우 큰 영역으로 분류된다. Entity, Gameobject, Agent등 여러 물리 엔진 툴에서 부르는 우리가 실험하고자 하는 '오브젝트'들은 최소 수천개부터 수억개까지 생성하고 각각의 현실과 같은 물리 효과를 부여해야하며 관리해야하는 상황에 놓이게 된다. 각자 가진 컴퓨터의 사양의 한계로 인해 제대로 생성하지 못하는 현상도 발생하기도 하며, 아무리 좋은 사양의 하드웨어라 하더라도 연구가 불가능한 현상이 발생하게 된다.Unity와 같은 물리엔진에서는 대용량 시뮬레이션을 위해..

강화학습을 공부하게 된 계기는 선배와의 협업을 통해 본의 아니게 시작하게 되었다기본적인 머신러닝이나 신경망에 대해서도 제대로 알지 못한 채 강화학습의 세계에 뛰어들어 허우적거리다 보니, 이제는 정리가 필요하다고 느낀다. 차량이나 선박과 같이 Markov Decision Process(MDP)로 구성 가능한 경우, 강화학습을 사용하는 것이 적합하다는 사실은 알고 있다. 하지만 논문을 읽다 보면, 최적화를 위해서 혹은 방법론의 하나로 강화학습이 자주 사용되는 것을 볼 수 있다. 흥미로운 점은, 많은 논문들이 MDP로 표현하기 어려운 상황에서도 강화학습을 사용한다는 것이다. 그것이 반드시 최적화 문제를 풀기 위한 해법이 아님에도 불구하고, 방법론으로 제시되고 또 accept이 많이 되고 있으니, 괜히 RL을 ..

포스팅은 정말로 오랜만인데, 다시 마음 가다듬고 공부하면서 정리해보고자 합니다. (정말 문외한으로서, 이제 시작한거라서 틀린 정보가 가득할 수도 있습니다.) 먼저 Convex Optimization을 공부해야 하는 이유는, 신경망 구조에서 나오는 출력의 Cost를 줄이기 위해서, 통신 상황에서는 주어진 시나리오에서의 sum rate를 최대화하거나, 한정된 자원(resourses, power such as battery of own devices)에서 Interferece를 최소화하거나, lifespan을 최대화하는 문제들을 풀어야하기 때문이다. 따라서 이러한 Mathematical optimization problems를 아래와 같이 정의해볼 수 있을 것이다. 아래와 같은 Constraints들이 있고,..

1. 메시지 해석 관점 2. 사슬 그래프에서의 수식과 추론 (마르코프 연쇄 / 채프만-콜모고로프) 3. Factor Graph 4. Tree

지금까지 PRML 8장에서 베이지안 네트워크와 조건부 독립에 대해 다루었는데 이에 관한 모든 기반은 그래프의 성질이 방향성을 띄고 있다는 것이었다. 반면에 이번 포스팅에서 다룰 마르코프 네트워크, 비방향성 그래프 모델이라 알려진 마르코프 무작위장(Markov Random Field)에 대해 다루어 보고자 한다. 위의 그래프를 본다면, 화살표가 존재하지 않고 링크로만 이어져 있다. A와 B 사이에 모든 경로가 차단되어 있을 경우, 즉 C가 방향을 전부 차단할 경우 이는 조건부 독립이다. 또한 C와 연결되어 있는 모든 노드들을 삭제하고 A와 B 사이의 링크가 없다면 조건부 독립 성질을 만족한다. 베이지안 네트워크(방향성 그래프)와 비교했을 때, d-구분을 사용하지 않아도 간단하게 조건부 독립 성질을 구할 수..

고등학교 확률과 통계 시간에, 독립과 종속이라는 개념에 대해서 배웠을 것이다. 어떤 사건이 일어날 때, 확률 변수 x와 y는 과연 관련이 있는가? 관련이 있으면 서로에 대해 종속, 그렇지 않으면 독립이라는 간단한 개념이다. 오늘 다룰 것은 만약 이러한 상관관계에 대해서 '조건'이라는 개념이 들어가게 된다면 어떠한 상황이 벌어지는가? 에 대해 알아보고자 한다. 여기 세 개의 변수 a, b, c가 존재한다. 그리고 b,c라는 확률 변수가 주어졌을 때, a의 조건부 분포는 밑의 식과 같이 간단히 나타낼 수 있다. 그렇다면 여기서 b는 a에 종속적이지 않은 변수라고 해보자. 결합 분포는 다음과 같이 나타낼 수 있다. 그렇다면 c라는 확률 변수 하나만 주어질 경우는 어떻게 될까? 여기서 PRML 1장 Introd..

베이즈 필터를 기반으로 하는 칼만필터(Kalman Filter)는 여러 분야에 많이 쓰인다. 자이로 센서, GPS 등, 측위하는데 있어 오차를 제거하기 위해 이용한다. 결론적으로 불확실한 관측으로부터 질 좋은 정보를 얻는 것이 칼만 필터의 목적이다. 이전 장에서 언급했듯이, 모델은 2가지가 존재한다. Dynamical Model과 Observation Model(Measurement Model)이 두 가지이다. 칼만 필터의 알고리즘은 크게 3가지로 구성되어 있다. 초깃값 설정과, 예측 과정(Prediction Step), 추정 과정(Correction Step)이 존재한다. Step 0 State Model인 x0과 P0(오차 공분산) 값을 넣어 초깃값을 선정한다. Step 1 다음 과정에서는 Predi..

필터 이론이란 잡음 데이터가 존재 할 경우, 이러한 데이터를 근거하여 더 좋은 데이터. 즉, 잡음을 제거하기 위한 이론이라 정의 할 수 있겠다. 여기서 우리는 칼만 필터(Kalman Filter)에 초점을 맞추어 보려고 한다. 먼저 칼만 필터를 알기 위해서는 그 기초가 되는 베이즈 필터(Bayes Filter)에 대해 알아야 한다. 아, 참고로 여기서 언급하는 필터들은 모두, 재귀(Recursive) 성질을 가지고 있다. 왜 재귀를 따르는가? 아마 프로그래머 관련 직군들은 이를 이해하기 쉬울 것이다. (프로그램의 계산 비중을 줄이기 위해) 위의 식은 평균을 계산하는 배치식(batch expression)이다. 만약 이 평균 계산 식에서, 새로운 k+1번째의 데이터가 들어올 경우, 평균을 처음부터 다시 계..

복잡한 확률 분포를 도식적으로 표현하는 것을 확률적 그래프 모델(Probablistic Graphical Model)이라 부른다. 이러한 그래프는 노드(node)와 링크(link)로 구성되어 있으며 확률적 그래프 모델, PGM에서의 각각의 노드는 확률 변수 또는 변수들의 그룹을 의미하며 링크는 이러한 변수들의 관계를 표현한다. 그래프 모델의 종류에는 두 가지가 존재한다. 방향성 그래프 모델(directed graphical model), 또는 베이지안 네트워크(Bayesian Network)라 불린다. 이 그래프 모델에서는 링크들이 방향성을 가지게 되는 화살표로 표시한다. 다른 그래프 모델은 비방향성 그래프 모델(undirected graphical model) 또는 마르코프 무작위장(Markov ran..