Momentum Contrast for Unsupervised Visual Representation Learning (CVPR 2020)MoCo(Momentum Contrast)는 대조 학습(contrastive learning)을 마치 dictionary에서 query에 해당하는 key를 찾는 작업처럼 해석한 method다.더보기Momentum Contrast (MoCo)는 encoded query와 encoded key들로 구성된 dictionary간의 contrastive loss를 사용하여 학습한다. Key들은 data sample로부터 실시간(on-the-fly)으로 정의된다. Dictionary는 queue 구조로 built되며, 현재 mini-batch가 queue에 추가되고 가장 오래된..

A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)SimCLR은 데이터 증강(Data Augmentation)과 대조 학습(Contrastive Learning)을 통해 시각적 표현을 강화한다. SimCLR의 framework는 다음과 같다.1. 입력데이터 $x$로부터 두 개의 collerative view $\tilde{x}_i$와 $\tilde{x}_j$를 생성동일한 증강 기법의 집합으로부터 얻은 두 개의 데이터 증강(Augmentation) 연산자 $t$ ~ $\tau$, $t'$ ~ $\tau$을 통해 두 개의 collerative view를 생성한다. 이 두 뷰를 양의 쌍(Positive View)로 ..