目录

简介

初始化好的网络训练快,效果也好。 初始化差的网络训练慢,效果也差。给人感觉就像模型出问题了一样。

glorot_uniform_initializer

也称之为Xavier uniform initializer,由一个均匀分布(uniform distribution)来初始化数据。 假设均匀分布的区间是[-limit, limit],则

limit = sqrt(6 / (fan_in + fan_out))

其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。

xavier

《Understanding the difficulty of training deep feedforward neural networks》

he_normal

《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》