Deep Residual Learning for Image Recognition  Residual Learning의 기본개념논문에서 나온 Figure 2.은 ResNet의 핵심 개념인 shortcut connection을 설명하고 있다. 논문에선 Shortcut이라고 적혀있지만  skip을 사용하여 skip connection을 사용하기도 한다. 필자는 skip connection이 더 익숙하므로 skip connection으로 작성해 나가겠다.Residual block 연산: $y = F(x) + x$$x$: 입력 벡터$y$: 출력 벡터$F(x)$: 학습해야 하는 연산들 (Convolution, Batch Normalization, ReLU)$x$를 그대로 더하는 것(Identity)이 skip con..

Very Deep Convolutional Networks for Large-Scale Image Recognition (ICLR 2015)VGGNet ArchitectureVGGNet Architecture는 매우 단순해서 VGG16 그림 한장으로 설명하겠음.VGG19는 단순히 CONV3, CONV4, CONV5에 Convolution + Relu 연산을 한 번씩 더 한다. VGG 코드import mathimport torchimport torch.nn as nnimport torch.utils.model_zoo as model_zoo__all__ = [ "VGG", "vgg11", "vgg11_bn", "vgg13", "vgg13_bn", "vgg16", "vgg..

A Simple Framework for Contrastive Learning of Visual Representations (ICML 2020)SimCLR은 데이터 증강(Data Augmentation)과 대조 학습(Contrastive Learning)을 통해 시각적 표현을 강화한다. SimCLR의 framework는 다음과 같다.1. 입력데이터 $x$로부터 두 개의 collerative view $\tilde{x}_i$와 $\tilde{x}_j$를 생성동일한 증강 기법의 집합으로부터 얻은 두 개의 데이터 증강(Augmentation) 연산자 $t$ ~ $\tau$, $t'$ ~ $\tau$을 통해 두 개의 collerative view를 생성한다. 이 두 뷰를 양의 쌍(Positive View)로 ..