Momentum Contrast for Unsupervised Visual Representation Learning (CVPR 2020)MoCo(Momentum Contrast)는 대조 학습(contrastive learning)을 마치 dictionary에서 query에 해당하는 key를 찾는 작업처럼 해석한 method다.더보기Momentum Contrast (MoCo)는 encoded query와 encoded key들로 구성된 dictionary간의 contrastive loss를 사용하여 학습한다. Key들은 data sample로부터 실시간(on-the-fly)으로 정의된다. Dictionary는 queue 구조로 built되며, 현재 mini-batch가 queue에 추가되고 가장 오래된..

Deep Residual Learning for Image Recognition  Residual Learning의 기본개념논문에서 나온 Figure 2.은 ResNet의 핵심 개념인 shortcut connection을 설명하고 있다. 논문에선 Shortcut이라고 적혀있지만  skip을 사용하여 skip connection을 사용하기도 한다. 필자는 skip connection이 더 익숙하므로 skip connection으로 작성해 나가겠다.Residual block 연산: $y = F(x) + x$$x$: 입력 벡터$y$: 출력 벡터$F(x)$: 학습해야 하는 연산들 (Convolution, Batch Normalization, ReLU)$x$를 그대로 더하는 것(Identity)이 skip con..

Very Deep Convolutional Networks for Large-Scale Image Recognition (ICLR 2015)VGGNet ArchitectureVGGNet Architecture는 매우 단순해서 VGG16 그림 한장으로 설명하겠음.VGG19는 단순히 CONV3, CONV4, CONV5에 Convolution + Relu 연산을 한 번씩 더 한다. VGG 코드import mathimport torchimport torch.nn as nnimport torch.utils.model_zoo as model_zoo__all__ = [ "VGG", "vgg11", "vgg11_bn", "vgg13", "vgg13_bn", "vgg16", "vgg..

A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)SimCLR은 데이터 증강(Data Augmentation)과 대조 학습(Contrastive Learning)을 통해 시각적 표현을 강화한다. SimCLR의 framework는 다음과 같다.1. 입력데이터 $x$로부터 두 개의 collerative view $\tilde{x}_i$와 $\tilde{x}_j$를 생성동일한 증강 기법의 집합으로부터 얻은 두 개의 데이터 증강(Augmentation) 연산자 $t$ ~ $\tau$, $t'$ ~ $\tau$을 통해 두 개의 collerative view를 생성한다. 이 두 뷰를 양의 쌍(Positive View)로 ..