【OpenMMLab】模型训练常见策略
一、模型训练范式
范式一:监督学习
在有标注的数据上进行模型训练,如VGG、ResNet等网络模型
范式二:自监督学习
通过恰当设计辅助任务,让模型在无标注的数据上进行模型训练,如MAE
当前的深度学习网络架构基本都是基于梯度下降的训练策略,其完整过程流程图为:
二、调参
参数对于模型的效果至关重要,下图给出了不同网络架构的最优参数配置:
常见的参数配置和训练策略包括但不限于:
1. 权重初始化策略
1)随机初始化,包括分布采样(如均匀分布或高斯分布)、Xavier方法和Kaiming 方法
2)预训练权重初始化
2. 学习率策略
包括退火策略、warm up策略
3. 优化器策略
包括动量优化器、权重衰减、自适应梯度
4. 权重保存策略
包括早停机制、模型权重平均(EMA)、模型权重平均(SWA)
5. 数据加强策略
在CV领域,常见的数据加强策略包括:几何变换、颜色变换、遮挡、旋转、翻转、图片组合(如mixup、cutmix等)