自己之前写过一个Pytorch学习率更新,其中感觉依据是否loss升高或降低的次数来动态更新学习率，感觉是个挺好玩的东西，自己弄了好久都设置错误，今天算是搞出来了！
- torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, mode=‘min’, factor=0.1, patience=10, verbose=False, threshold=0.0001, threshold_mode=‘rel’, cooldown=0, min_lr=0, eps=1e-08)
在发现loss不再降低或者acc不再提高之后，降低学习率。各参数意义如下：
| 参数 | 含义 |
|---|---|
| mode | 'min’模式检测metric是否不再减小，'max’模式检测metric是否不再增大； |
| factor | 触发条件后lr*=factor； |
| patience | 不再减小（或增大）的累计次数； |
| verbose | 触发条件后print； |
| threshold | 只关注超过阈值的显著变化； |
| threshold_mode | 有rel和abs两种阈值计算模式，rel规则：max模式下如果超过best(1+threshold)为显著，min模式下如果低于best(1-threshold)为显著；abs规则：max模式下如果超过best+threshold为显著，min模式下如果低于best-threshold为显著； |
| cooldown | 触发一次条件后，等待一定epoch再进行检测，避免lr下降过速； |
| min_lr | 最小的允许lr； |
| eps | 如果新旧lr之间的差异小与1e-8，则忽略此次更新。 |
- 例子，如图所示的y轴为lr,x为调整的次序，初始的学习率为0.0009575
则学习率的方程为：lr = 0.0009575 * (0.35)^x
我感觉这里面最难的时这几个参数的选择，第一个是初始的学习率（我目前接触的miniest和下面的图像分类貌似都是0.001，我这里训练调整时才发现自己设置的为0.0009575，这个值是上一个实验忘更改了，但发现结果不错，第一次运行该代码接近到0.001这么小的损失值）,这里面的乘积系数以及判断说多少次没有减少（增加）后决定变换学习率都是难以估计的。我自己的最好方法是先按默认不变的0.001来训练一下（结合**tensoarboard** ）观察从哪里开始出现问题就可以从这里来确定次数，而乘积系数，个人感觉还是用上面的代码来获取一个较为平滑且变化极小的数字来作为选择。建议在做这种测试时可以把模型先备份一下以免浪费过多的时间！
- 该例子初始学习率为0.0009575，乘积项系数为：0.35，在我的例子中x变化的条件是：累计125次没有减小则x加1；自己训练在第一次lr变化后（从0.0009575变化到0.00011729）损失值慢慢取向于0.001（如第一张图所示），准确率达到69%；
