출처 : link Unsupervised Anomaly Detection vs Semi-supervised Anomaly Detection

arxiv, github(not official) Note : $\phi_{j}(\cdot)=\psi(\cdot)$ 를 $C_{j}\times D_{j}$ 로 보면, $$G_{j}^{\phi}(x)=\frac{\psi\psi^{T}}{C_{j}D_{j}}.$$ 이건 uncentered covariance이다. each grid location as an independent sample(각각의 pixel=grid를 독립적으로 계산함). 그리고 captures information about which features tend to activate together(어떤 feature들이 서로 영향을 주는지에 대한 정보를 수집함). 다른 Loss(아직 공부 안함) : VGG까지 학습함. 딱히 freeze하지..

arxiv, github, 나의 요약 : vision transformer >>>>> CNN, texture보단 shape을 본다. 요약 occlusion(가림막), domain shifts(질감 변경), spatial permutations(격자무니 섞기), adversarial attack(공격), perturbations(픽셀 노이즈) 실험으로 ViT의 좋음을 확인 결과 1. occlusion, perturbation, domain shift에 좋다. 2. texture에 less biased(texture바껴도 잘맞춤) 3. high shape biased(shape 바뀌면 못맞춤) 4. Off-the-shelf feature사용해도 좋음(이전 layer의 feature로 앙상블) 1. Intro..

arxiv, github, twitter(저자 아님), Microsoft 참고 : 다음에 나온 Scaled-YOLOv4가 이 논문 이김. 요약 vision이 language와 차이점 1) large variation 2) high resolution shifted windows를 도입한 계층적 transformer를 제안함. shifted windows는 non-overlapping한 windows를 연결함. 장점 : 1) various scale에 가능 2) O(n), n : image size Introduction 앞선 sliding windows방식의 self-attention은 low latency임. 우리 논문에서는 all query patch가 같은 key를 공유함. -> latency 해결..

amp_examples.html#distributeddataparallel-one-gpu-per-process에 의하면 DDP가 스레드를 의도적으로 spawn하지 않는다고 한다. 따라서 autocast와 GradScaler가 영향받지 않는다. 따라서 사용못한다,(?)

arxiv, github없음, project page Abstract DatasetGAN은 방대한 높은 품질의 segmented된 이미지를 generate한다. 최신 딥러닝 모델들은 data-hugry하다. 생성된 데이터셋은 실제 데이터셋으로 활용가능하다. 성능이 semi-sup을 outperform했고, 100배 더 많은 labeled data에서 학습한 fully supervised와 비슷하다. Introduction Key insight : style-interpreter를 학습하기 위해, 적은 개수의 labeled images만 필요하다. 이 labeled 이미지들은 아주 정교하게 annotate했다. rich object and part segmentation과 함께. Related Work O..