Aleatoric and Epistemic Uncertainty - Alex Kendall

논문 : arxiv - What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision?

코드 :pytorch

유투브 : 한글

유투브가 너무 잘 되어있음. 그냥 유투브 보자.

Abstract

Bayesian Deep Learning에서 가질수 있는 두가지 uncertainty인 Aleatoric이랑 Epistemic을 설명함.

내 요약

Aleatoric : 데이터가 가지고 있는 불확실성

Epistemic : 모델이 가지고 있는 불확실성

Introduction

• Aleatoric
  • 센서, 모션 노이즈.
  • 데이터가 많아도 해결 불가
• Epistemic
  • 모델 파라미터의 불확실성
  • 모델 불확실성
• Aleatoric
  • Homoscedastic
    • input이 달라져도 유지
  • Heteroscedastic
    • input마다 달라서 생기는 noise
      • Computer vision에서 중요
    • depth 측정할 때, iput의 texture가 강한 line을 가지면, prediction이 좋다.
    • 반면, 특징이 없는 wall가 있는 input은 uncertainty↑

위 그림 참조.

Combining Aleatoric and Epistemic Uncertainty in One Model

...

Code에서 알아낸 점

모든 모델에 random dropout이 있음. inference도, train도 둘다 있음.

aleatoric이랑 combined는 모델이 똑같음. test시에 다름.

aleatoric이랑, epistemic은 모델이 다름. aleatoric은 mean, var 두개를 출력, epistemic은 mean만 출력.

epistemic은 inference를 여러번 하고, mean을 평균냄