2021/03(11)
-
Aleatoric and Epistemic Uncertainty - Alex Kendall
논문 : arxiv - What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? 코드 :pytorch 유투브 : 한글 유투브가 너무 잘 되어있음. 그냥 유투브 보자. Abstract Bayesian Deep Learning에서 가질수 있는 두가지 uncertainty인 Aleatoric이랑 Epistemic을 설명함. 내 요약 Aleatoric : 데이터가 가지고 있는 불확실성 Epistemic : 모델이 가지고 있는 불확실성 Introduction Aleatoric 센서, 모션 노이즈. 데이터가 많아도 해결 불가 Epistemic 모델 파라미터의 불확실성 모델 불확실성 Aleatoric Homoscedastic input이..
2021.03.31 -
SwAV 코드 살펴보기
코드 : facebookresearch/swav def train(train_loader, model, optimizer, epoch, lr_schedule, queue): batch_time = AverageMeter() data_time = AverageMeter() losses = AverageMeter() softmax = nn.Softmax(dim=1).cuda() model.train() use_the_queue = False end = time.time() for it, inputs in enumerate(train_loader): # measure data loading time data_time.update(time.time() - end) # update learning rate ite..
2021.03.23 -
SwAV, SEER-Unsupervised Learning by Contrasting Cluster Assignments
Paper Arxiv 링크 저자 github Contribution simultaneously clusters the data "swapped" prediction memory efficient multi-crop Loss $$L(\boldsymbol{z}_{t},\boldsymbol{z}_{s})=\mathit{l}(\boldsymbol{z}_{t},\boldsymbol{q}_{s})+\mathit{l}(\boldsymbol{z}_{s},\boldsymbol{q}_{t})$$ Online clustering $\boldsymbol{z}_{t}$가 $C$를 지남. (fc layer랑 하는 역할이 비슷, but 훈련이 $f_{\theta}$와 다르게 됨.) 그다음 $\boldsymbol{q}_{s}$를 예..
2021.03.23 -
Fine-grained 서베이 논문 3편
A Survey of Recent Advances in CNN-Based Fine-Grained Visual Categorization A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers Deep Learning for Fine-Grained Image Analysis: A Survey Fine-grained의 특징(도전) inter-class similarity, intra-class variability 데이터셋 정리 유명한거 순서 CUB200-2011 > Standford Car > FGVC Aircraft > Oxford Flowers > Standford Dog >... 푸는 방법 2가지 Strongly-superv..
2021.03.16 -
얀 르쿤 페이스북 요약. Self-supervised learning: NLP vs VISION
얀 르쿤(Yann LeCun)의 facebook에 남긴 의견(링크) 요약 SSL의 방법이 NLP와 VISION에 다르다 Text Text는 discrete한 신호이다. 이것이 '예측'에 있어 uncertainty를 표현하기 쉽다. 따라서 따라서 '신호'를 예측(predict)하거나, reconstruct하는 architecture와 훈련 패러다임이 잘 작동한다. 예) The (blank) chases the (blank) in the savanna에서 blank 맞추기. 어휘라는게 엄청나게 방대한 양이고, 빈칸 맞추기가 엄청 uncertainty하지만, a list of all possible words를 제공하기에 좋다. 그리고 해당 장소에 그 단어들의 출현을 측정하는 확률을 제공한다. 예를들어, de..
2021.03.08 -
NeRF-Neural Radiance Field
2020년 8월에 arxiv 투고. ECCV oral. project page, github(pytorch-facebook, tensorflow-colab있음-official) 1. Abstract 연속적인 volumetric scene을 만든다. sparse input views를 이용하여. FC layer만 사용. input이 5차원(공간 3차원($x, y, z$) + 보는 방향 2차원($\theta$, $\phi$)), output : volume density and view-dependent emitted radiance at that spatial location.(4차원$RGB\sigma$) Volume rendering은 differentiable해야 한다. 외형적으로 복잡한것도 잘 된다고..
2021.03.06