4.3 模型参数的延后初始化

由于使用 Gluon 创建的全连接层的时候不需要指定输入个数。所以当调用 initialize 函数时，由于隐藏层输入个数依然未知，系统也无法得知该层权重参数的形状。只有在当形状已知的输入 X 传进网络做前向计算 net(X) 时，系统才推断出该层的权重参数形状为多少，此时才进行真正的初始化操作。但是使用 PyTorch 在定义模型的时候就要指定输入的形状，所以也就不存在这个问题了，所以本节略。有兴趣的可以去看看原文，传送门。