Train loss与Test loss结果分析¶
引例¶
我提问一个问题:
当一个模型训练完成后若发现训练集上的loss非常高,请问在不对代码进行全面排查的情况下,怎么样可以以最快的速度定位是模型本身的拟合能力不足还是代码的实现存在某种问题？
那么你觉得应该是怎么样进行判断呢？
答案¶
| Train Loss | Test Loss | 目前情况 |
|---|---|---|
| 下降 | 下降 | 网络仍然在学习 |
| 下降 | 趋于不变 | 网络过拟合 |
| 趋于不变 | 下降 | 数据集100%有问题 |
| 趋于不变 | 趋于不变 | 网络学习遇到瓶颈,需要减小学习率或批量数目 |
| 上升 | 上升 | 网络结构设计不当,训练参数设置不当,数据集经过清洗等问题 |