目录
简介
初始化好的网络训练快,效果也好。 初始化差的网络训练慢,效果也差。给人感觉就像模型出问题了一样。
glorot_uniform_initializer
也称之为Xavier uniform initializer,由一个均匀分布(uniform distribution)来初始化数据。 假设均匀分布的区间是[-limit, limit],则
limit = sqrt(6 / (fan_in + fan_out))
其中的fan_in和fan_out分别表示输入单元的结点数和输出单元的结点数。
xavier
《Understanding the difficulty of training deep feedforward neural networks》
he_normal
《Delving Deep into Rectifiers:Surpassing Human-Level Performance on ImageNet Classification》