Bell shape에 x축 : x-x'이라는 거리. 거리가 가까워지면 k가 커짐. 거리가 멀어지면 k가 작아짐. kernel function의 의미 : 입력과 바로 옆 입력이 얼마가 비슷한지. Kernel function이 존재하면 이걸로 span된 공간이 정의됨. 이 공간 : RKHS. GPLVM은 non-linear probabilistic PCA (PPCA) 이라고 한다. Dimension reduction Non-linear mapping 이번시간 : PPCA와 GPLVM의 관계에 대해서 살펴보자. PCA = SVD Singular value : 축이 얼마나 중요한지. $$W^{T}:\mathbb{R}^{n\times q}\rightarrow\mathbb{R}^{n\times q}$$ by $Y=..

Weight space view 위는 bayesian이 아님. Bayesian은 prior가 생김. Bayesian은 찾고싶은 parameter(=weight = $w$ )에 대해 prior distribution을 주는 것. Prior는 $w$ 가 주어졌을때, $y$ 의 확률분포를 구하는 것. Posterior : 데이터가 있을 때, $w$ parameter에 대한 확률 Conjugate prior Prior distribution에 많이 쓰는 것 : 뤼샤츠, 데이타, 감마, 가우시안(이게 아니면 posterior를 analytic하게 쓸수 없음) posterior를 analytic하게 쓸수 있으면, 그때의 prior를 conjugate prior라고 부름 Bayesian은 새로운 데이터가 들어왔을때,..

inner product를 정의할수 있으면, norm을 정의할 수 있고, norm을 정의할 수 있으면, metric을 정의할 수 있다. 이번 시간 : Inner product, Hilbert space, Kernel, Positive definite, Eigenfunction and eigenvalue, Mercer’s theorem, Bochner’s theorem, Reproducing kernel Hilbert space (RKHS), Moore-Aronszajn theorem, Representer theorem kernel은 set X에 많은 조건이 필요 없다. Kernel공부하면서 나온 이야기 : 분류 문제 : binary classification : shatter(ML에서) 입력공간에 빨간..

무한 차원의 vector를 random process vector : 함수 함수들의 공간에 확률을 부여 무한 차원은 mean, covariate matrix를 계산할수 없으므로 random process를 생각함. 랜덤 프로세스가 주어지면, 유한차원의 확률만 정의된다. Fixed w에 대해, $X_t (w)$ 를 sample path라고 한다. 종류들 time : discrete vs continuous value : discrete vs continuous Brownian motion : continuous-time continuous-valued random process Moment Gaussian process에서는 mean이 0일때, auto-correlation function, acf만 알면..

edwith.org PDF download book link 1. Introduction probability, random variable, random process, kernel function에 대해서 알아보자 2. Set set, element, subset, universal set, set operations disjoint partition Cartesian product power set cardinality |A|: finite, infinite, countable, uncountable, denumerable (countably infinite) 자연수, 실수는 countable, [0,1]사이의 실수집합은 uncountable mapping, domain, co-domain, ima..