논문 : arxiv(2020년) 발표 : Artificial Spirit Artificial Spirit - AI Hybrid Music & Arts Artificial Spirit contribute to society through creating AI-based music & arts. www.artificial-spirit.com

논문 : arxiv - What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? 코드 :pytorch 유투브 : 한글 유투브가 너무 잘 되어있음. 그냥 유투브 보자. Abstract Bayesian Deep Learning에서 가질수 있는 두가지 uncertainty인 Aleatoric이랑 Epistemic을 설명함. 내 요약 Aleatoric : 데이터가 가지고 있는 불확실성 Epistemic : 모델이 가지고 있는 불확실성 Introduction Aleatoric 센서, 모션 노이즈. 데이터가 많아도 해결 불가 Epistemic 모델 파라미터의 불확실성 모델 불확실성 Aleatoric Homoscedastic input이..

코드 : facebookresearch/swav def train(train_loader, model, optimizer, epoch, lr_schedule, queue): batch_time = AverageMeter() data_time = AverageMeter() losses = AverageMeter() softmax = nn.Softmax(dim=1).cuda() model.train() use_the_queue = False end = time.time() for it, inputs in enumerate(train_loader): # measure data loading time data_time.update(time.time() - end) # update learning rate ite..

Paper Arxiv 링크 저자 github Contribution simultaneously clusters the data "swapped" prediction memory efficient multi-crop Loss $$L(\boldsymbol{z}_{t},\boldsymbol{z}_{s})=\mathit{l}(\boldsymbol{z}_{t},\boldsymbol{q}_{s})+\mathit{l}(\boldsymbol{z}_{s},\boldsymbol{q}_{t})$$ Online clustering $\boldsymbol{z}_{t}$가 $C$를 지남. (fc layer랑 하는 역할이 비슷, but 훈련이 $f_{\theta}$와 다르게 됨.) 그다음 $\boldsymbol{q}_{s}$를 예..

A Survey of Recent Advances in CNN-Based Fine-Grained Visual Categorization A Systematic Evaluation: Fine-Grained CNN vs. Traditional CNN Classifiers Deep Learning for Fine-Grained Image Analysis: A Survey Fine-grained의 특징(도전) inter-class similarity, intra-class variability 데이터셋 정리 유명한거 순서 CUB200-2011 > Standford Car > FGVC Aircraft > Oxford Flowers > Standford Dog >... 푸는 방법 2가지 Strongly-superv..

얀 르쿤(Yann LeCun)의 facebook에 남긴 의견(링크) 요약 SSL의 방법이 NLP와 VISION에 다르다 Text Text는 discrete한 신호이다. 이것이 '예측'에 있어 uncertainty를 표현하기 쉽다. 따라서 따라서 '신호'를 예측(predict)하거나, reconstruct하는 architecture와 훈련 패러다임이 잘 작동한다. 예) The (blank) chases the (blank) in the savanna에서 blank 맞추기. 어휘라는게 엄청나게 방대한 양이고, 빈칸 맞추기가 엄청 uncertainty하지만, a list of all possible words를 제공하기에 좋다. 그리고 해당 장소에 그 단어들의 출현을 측정하는 확률을 제공한다. 예를들어, de..