출처 : link Unsupervised Anomaly Detection vs Semi-supervised Anomaly Detection

arxiv, github(not official) Note : $\phi_{j}(\cdot)=\psi(\cdot)$ 를 $C_{j}\times D_{j}$ 로 보면, $$G_{j}^{\phi}(x)=\frac{\psi\psi^{T}}{C_{j}D_{j}}.$$ 이건 uncentered covariance이다. each grid location as an independent sample(각각의 pixel=grid를 독립적으로 계산함). 그리고 captures information about which features tend to activate together(어떤 feature들이 서로 영향을 주는지에 대한 정보를 수집함). 다른 Loss(아직 공부 안함) : VGG까지 학습함. 딱히 freeze하지..

arxiv, github, 나의 요약 : vision transformer >>>>> CNN, texture보단 shape을 본다. 요약 occlusion(가림막), domain shifts(질감 변경), spatial permutations(격자무니 섞기), adversarial attack(공격), perturbations(픽셀 노이즈) 실험으로 ViT의 좋음을 확인 결과 1. occlusion, perturbation, domain shift에 좋다. 2. texture에 less biased(texture바껴도 잘맞춤) 3. high shape biased(shape 바뀌면 못맞춤) 4. Off-the-shelf feature사용해도 좋음(이전 layer의 feature로 앙상블) 1. Intro..

arxiv, github, twitter(저자 아님), Microsoft 참고 : 다음에 나온 Scaled-YOLOv4가 이 논문 이김. 요약 vision이 language와 차이점 1) large variation 2) high resolution shifted windows를 도입한 계층적 transformer를 제안함. shifted windows는 non-overlapping한 windows를 연결함. 장점 : 1) various scale에 가능 2) O(n), n : image size Introduction 앞선 sliding windows방식의 self-attention은 low latency임. 우리 논문에서는 all query patch가 같은 key를 공유함. -> latency 해결..

Bell shape에 x축 : x-x'이라는 거리. 거리가 가까워지면 k가 커짐. 거리가 멀어지면 k가 작아짐. kernel function의 의미 : 입력과 바로 옆 입력이 얼마가 비슷한지. Kernel function이 존재하면 이걸로 span된 공간이 정의됨. 이 공간 : RKHS. GPLVM은 non-linear probabilistic PCA (PPCA) 이라고 한다. Dimension reduction Non-linear mapping 이번시간 : PPCA와 GPLVM의 관계에 대해서 살펴보자. PCA = SVD Singular value : 축이 얼마나 중요한지. $$W^{T}:\mathbb{R}^{n\times q}\rightarrow\mathbb{R}^{n\times q}$$ by $Y=..

Weight space view 위는 bayesian이 아님. Bayesian은 prior가 생김. Bayesian은 찾고싶은 parameter(=weight = $w$ )에 대해 prior distribution을 주는 것. Prior는 $w$ 가 주어졌을때, $y$ 의 확률분포를 구하는 것. Posterior : 데이터가 있을 때, $w$ parameter에 대한 확률 Conjugate prior Prior distribution에 많이 쓰는 것 : 뤼샤츠, 데이타, 감마, 가우시안(이게 아니면 posterior를 analytic하게 쓸수 없음) posterior를 analytic하게 쓸수 있으면, 그때의 prior를 conjugate prior라고 부름 Bayesian은 새로운 데이터가 들어왔을때,..