BN比较适用的场景是:每个mini-batch比较大,数据分布比较接近.在进行训练之前,要做好充分的shuffle,否则效果会差很多由于BN需要在运行过程中统计每个mini-batch的一阶统计量和二阶统计量,因此不适用于动态的网络结构和RNN网络。1.在CNN中,
(a).BN作用在非线性映射前,当神经网络收敛速度缓慢时候,或者梯度爆炸无法训练时候可以考虑用BN,
(b).一般情况也可以用BN来尝试加快训练速度,提高模型的精度。
2.不适用于动态的网络结构和RNN网络
如果觉得《Batch Normalization(BN)在什么时候用比较合适?》对你有帮助,请点赞、收藏,并留下你的观点哦!