优化神经网络训练方法有哪些？

[待解决问题]

优化神经网络训练方法有哪些？
请问使用梯度积累，使用梯度裁剪，除了这二个方法还有别的吗

人工智能神经网络

人工智能技术与咨询 | 菜鸟二级 | 园豆：228
提问于：2022-09-06 10:14

< >

所有回答(1)

1 考虑换一种学习率 schedule
2 在 DataLoader 中使用多个 worker 和页锁定内存
3 把 batch 调到最大
4 使用自动混合精度（AMP）
5 考虑使用另一种优化器
6 cudNN 基准
7 使用梯度积累
8 使用梯度裁剪

机器学习123 | 园豆：242 (菜鸟二级) | 2022-09-06 11:16

清除回答草稿

您需要登录以后才能回答，未注册用户请先注册。

欢迎，请先 登录 或者 注册 。