DatasetGAN: Efficient Labeled Data Factory with Minimal Human Effort

arxiv, github없음, project page

Abstract

DatasetGAN은 방대한 높은 품질의 segmented된 이미지를 generate한다.

최신 딥러닝 모델들은 data-hugry하다.

생성된 데이터셋은 실제 데이터셋으로 활용가능하다.

성능이 semi-sup을 outperform했고, 100배 더 많은 labeled data에서 학습한 fully supervised와 비슷하다.

 

Introduction

Key insight : style-interpreter를 학습하기 위해, 적은 개수의 labeled images만 필요하다.

이 labeled 이미지들은 아주 정교하게 annotate했다. rich object and part segmentation과 함께.

 

Related Work

StyleGAN

 

Our Approach

Style-based Generator는 StyleGAN말고도 다른것도 사용가능하다.

pixel중에 sampling해서 backpropagation을 한다. 그 이유는 5056이라는 차원이 너무 커서.

loss : CE Loss

Kyepoint prediction : Gaussian heatmap을 사용함.

StyleGAN은 backprop 안함.

ensemble 갯수 : 10개

 

생성된 이미지에서 curate(선별함)

선별 방법 : Jensen-Shannon(JS) divergence를 각 pixel마다 측정하고 이미지 전체에서 sum함.(출처 논문 : Cost-sensitive active learning for intracranial hemorrhage detection. In MICCAI, 2018)

 그 중에서 top 10% uncertain image는 제거함.

 

사람이 1만개 annotation하려면 3200시간(134일) 걸림.

DatasetGAN은 5시간이면 충분함.

 

Collecting Fine-grained Annotation



 

Experiments

Model : Deeplab-V3/ImageNet pre-trained ResNet151

ADE-Car-12(여기서 ADE는 데이터셋 이름, Car는 그중에 종류, 12는 part segmentation label갯수)

In domain : 

3D reconstruction을 통해 segmentation이 잘 되었는지 판단.