我这里是由于数据整理错误导致的,同一标注区域重复2次送入模型,具体如下:

     0.798046875    0.5555555555555556    0.04296875    0.03611111111111111
0.931640625 0.6173611111111111 0.06953125 0.07083333333333333
0.869140625 0.5777777777777777 0.06171875 0.05277777777777778
0.837890625 0.5791666666666667 0.05546875 0.05555555555555555
0.798046875 0.5555555555555556 0.04296875 0.03611111111111111
0.931640625 0.6173611111111111 0.06953125 0.07083333333333333
0.869140625 0.5777777777777777 0.06171875 0.05277777777777778
0.837890625 0.5791666666666667 0.05546875 0.05555555555555555

上述为1张图片的标注数据,1-4行和5-8行重复。

训练过程中,批输出的loss初期逐渐减少至一定值后出现快速增长,最后变成nan.

这个原因还不太清晰,个人感觉是相同的数据导致梯度变化变为0,导致了梯度消失。

05-11 22:59