【OpenMMLab】模型训练常见策略
一、模型训练范式
范式一：监督学习
在有标注的数据上进行模型训练，如VGG、ResNet等网络模型
范式二：自监督学习
通过恰当设计辅助任务,让模型在无标注的数据上进行模型训练，如MAE
当前的深度学习网络架构基本都是基于梯度下降的训练策略，其完整过程流程图为：
二、调参
参数对于模型的效果至关重要，下图给出了不同网络架构的最优参数配置：
常见的参数配置和训练策略包括但不限于：
1. 权重初始化策略
1）随机初始化，包括分布采样（如均匀分布或高斯分布）、Xavier方法和Kaiming 方法
2）预训练权重初始化
2. 学习率策略
包括退火策略、warm up策略
3. 优化器策略
包括动量优化器、权重衰减、自适应梯度
4. 权重保存策略
包括早停机制、模型权重平均（EMA）、模型权重平均（SWA）
5. 数据加强策略
在CV领域，常见的数据加强策略包括：几何变换、颜色变换、遮挡、旋转、翻转、图片组合（如mixup、cutmix等）