NiN网络

NiN

前言

问题：对于全连接层，在卷积层之后的第一个全连接层的输入通道数是非常大的，这个时候如果使用全连接层，会导致参数数量非常多，从而导致模型的过拟合。

NiN网络

NiN块

• 一个卷积层后跟两个全连接层
• 全连接层：1*1卷积层

架构

1. 无全连接层
2. 交替使用NiN块和步幅为2的最大池化层（逐步减小高宽和增大通道数）
3. 最后使用全局平均池化层的到输出（输入通道是类别数）
   

代码

定义NiN块

import torch
from torch import nn
from d2l import torch as d2l

def nin_block(in_channels, out_channels, kernel_size, stride=1, padding=0):
    return nn.Sequential(
        nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding),
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1),  # 1x1卷积
        nn.ReLU(),
        nn.Conv2d(out_channels, out_channels, kernel_size=1),  # 1x1卷积
        nn.ReLU()
    )


def nin(num_classes=10):
    return nn.Sequential(
        nin_block(1, 96, kernel_size=11, stride=4, padding=0),  # 卷积层1
        nn.MaxPool2d(kernel_size=3, stride=2),  # 池化层1
        nin_block(96, 256, kernel_size=5, stride=1, padding=2),  # 卷积层2
        nn.MaxPool2d(kernel_size=3, stride=2),  # 池化层2
        nin_block(256, 384, kernel_size=3, stride=1, padding=1),  # 卷积层3
        nn.MaxPool2d(kernel_size=3, stride=2),  # 池化层3
        nn.Dropout(0.5),  # 丢弃层
        nin_block(384, 10, kernel_size=3, stride=1, padding=1),  # 卷积层4, 输出层
        nn.AdaptiveAvgPool2d((1, 1)),  # 自适应平均池化
        nn.Flatten()  # 展平层
    )

if __name__ == "__main__":
    net = nin()
    
    # 测试网络结构
    # X = torch.randn(1, 1, 224, 224)  # 输入图像的形状
    # for layer in net:
    #     X = layer(X)  # 前向传播
    #     print(layer.__class__.__name__, 'output shape:\t', X.shape)

    lr, num_epochs = 0.01, 10
    batch_size = 128
    train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size, resize=224)
    d2l.train_ch6(net, train_iter, test_iter, num_epochs, lr, d2l.try_gpu())