본문 바로가기

code review2

Virtual Class Enhanced Discriminative Embedding Learning. NIPS. 2018. Virtual Softmax 1. Method 이 논문에서 제안하는 Virtual Softmax는 Softmax에서 파생된 classifier입니다. 먼저 Softmax의 수식은 아래와 같습니다. $$ \frac{\mathcal{e}^{W^{T}_{y_i}X_i}}{\sum^C_{j=1}\mathcal{e}^{W^{T}_{y_j}X_i}} $$ Softmax는 수식에서 볼 수 있듯이 weight와 입력의 feature의 inner product \(Wx\)를 기반으로 연산됩니다. 학습 중에는 \( W^T_{y_i}X_i > \max_{j \in c, j \neq y_i}(W^T_jX_i)\)를 충족하도록 penalty를 부여함으로써 입력이 올바른 class로 분류되도록 합니다. 하지만, Softmax는 .. 2021. 7. 28.
Learning deep representations by mutual information estimation and maximization. ICLR. 2019 Deep InfoMax only utilize the "local mutual information maximization". 1. Model class Encoder(nn.Module): def __init__(self): super().__init__() self.block1 = ENB( 3, 64, 3, 1) self.block2 = ENB( 64, 64, 3, 1) self.block3 = ENB( 64, 128, 3, 1, True) self.block4 = ENB(128, 256, 3, 1) self.block5 = ENB(256, 512, 3, 1) self.block6 = ENB(512, 64, 1, 0) self.gap = nn.AdaptiveAvgPool2d(1) def forward(.. 2021. 7. 8.

티스토리툴바