IT 정리용 블로그!

Introduction Semi supervised Learning에 있어 어떤 접근법들은 consistency regularization에 집중하기도 한다. 이들은 동일한 unlabeled input 이미지를 변형한 버젼들에 대해 consistent한 prediction을 내리도록 한다. 반면, 다른 접근법들은 pseudo labeling에 집중하기도 한다. 여기서 모델은 unlabeled data에 대해 인공적인 label을 만들고, 이들을 이용해 train한다. 두 접근법을 섞어 사용하는 것이 SOTA를 보이기도 한다. Pseudo labeling에 있어, 흔히 일어나는 문제는 confirmation bias다. 모델은 잘못된 prediction을 이용해 학습을 진행하고, 여기서 에러가 누적되어 문..

Introduction Semi-Supervised Learning(SSL)의 문제는 제한된 labeled data에서 학습한 정보를 어떻게 일반화하여 unlabeled data로 전할 수 있는가이다. 가까운 데이터는 동일한 label을 share할 확률이 높다는 가정인 continuity assumption을 따라서, Label Propagation을 포함한 많은 접근법이 고안되었다. 서로 다르게 augment된 unlabeled 데이터들 간에 consistency를 만드는 것이 최근 연구동향이다. Consistency regularization을 제외한 몇 다른 방법들도 연구되고 있다. MixMatch, ReMixMatch, FixMatch 등의 방법은 labeled 혹은 unlabeled 데이터에 ..

Introduction Semantic segmentation은 픽셀 단위의 training data labeling이 필요하기 때문에 다른 computer vision task보다 비용이 많이 든다. Semi-supervised semantic segmentation에는 Consistency regularization을 많이 사용한다. 이것은 다양한 변화(augmentation 등)에도 예측결과의 일관성을 가져다준다. Self-training도 많이 연구되고 있는데, labeled image에서 train된 segmentation model에서 unlabeled image를 이용해 pseudo segmentation map을 얻고, 이를 training data를 늘리고, segmentation mod..

Introduction 기존에 성공적이였던 Semi-Supervised Learning(SSL) 접근법은 image-based augmentation이였다. 하지만 이는 image space에서의 transformation만 가능하고, 다양한 transformation에서의 dataset의 다른 instance의 지식을 leverage해주지는 못한다. 이를 위해 feature-based refinement와 augmentation을 제안한다. dataset에 있는 다른 image feature에서 추출한 prototype의 작은 set을 이용해 image feature에서 soft-attention을 통해 refine과 augment를 하는 모듈을 사용한다. Memory bank와 k-means clus..