2021/05(4)
-
Functional analysis
inner product를 정의할수 있으면, norm을 정의할 수 있고, norm을 정의할 수 있으면, metric을 정의할 수 있다. 이번 시간 : Inner product, Hilbert space, Kernel, Positive definite, Eigenfunction and eigenvalue, Mercer’s theorem, Bochner’s theorem, Reproducing kernel Hilbert space (RKHS), Moore-Aronszajn theorem, Representer theorem kernel은 set X에 많은 조건이 필요 없다. Kernel공부하면서 나온 이야기 : 분류 문제 : binary classification : shatter(ML에서) 입력공간에 빨간..
2021.05.28 -
Random process
무한 차원의 vector를 random process vector : 함수 함수들의 공간에 확률을 부여 무한 차원은 mean, covariate matrix를 계산할수 없으므로 random process를 생각함. 랜덤 프로세스가 주어지면, 유한차원의 확률만 정의된다. Fixed w에 대해, $X_t (w)$ 를 sample path라고 한다. 종류들 time : discrete vs continuous value : discrete vs continuous Brownian motion : continuous-time continuous-valued random process Moment Gaussian process에서는 mean이 0일때, auto-correlation function, acf만 알면..
2021.05.27 -
Introduction, Set theory, Measure theory, Probability, Random variable
edwith.org PDF download book link 1. Introduction probability, random variable, random process, kernel function에 대해서 알아보자 2. Set set, element, subset, universal set, set operations disjoint partition Cartesian product power set cardinality |A|: finite, infinite, countable, uncountable, denumerable (countably infinite) 자연수, 실수는 countable, [0,1]사이의 실수집합은 uncountable mapping, domain, co-domain, ima..
2021.05.26 -
Automatic Mixed Precision 적용하기
amp_examples.html#distributeddataparallel-one-gpu-per-process에 의하면 DDP가 스레드를 의도적으로 spawn하지 않는다고 한다. 따라서 autocast와 GradScaler가 영향받지 않는다. 따라서 사용못한다,(?)
2021.05.10