논문 제목 : Estimating GPU memory consumption of deep learning models 이 논문은 OOM(Out Of Memory)가 많이 나는 DL Models의 문제들 때문에 연구되었다. 아래 그림은 논문에서 사용한 Pytorch로 작성된 간단한 코드구조이다. 아래 그림은 위의 코드에 대한 것의 memory 사용을 보여준다. $E$, $O$, $W$에 대한 설명은 아래 table 3을 보자. 아래 그림은 연산이 진행됨에 따라 쓸모 없는 memory($E^1$)은 버려지는 것을 알수 있다. 아래 그림은 Deep Learning model을 만들기 위해 꼭 필요한 memory들이다. Weight Tensor Category의 이름이 그대로 설명해주고 있다. In/Out Te..