فروم بچه های تولز

به این پدیده  vanishing gradients  گفته میشه با دو تا کار دم دستی می تونید از دستش خلاص شید یکی اینکه Activation ها رو از حالت relu به leaky relu تغییر بدید و دوم اینکه مقادیر وزن های اولیه را با روش Xavier  مقدار دهی کنید.

توضیحات بیشتر هم در اینجا و اینجا داده شده.