神经网络模型通常由多个层组成，每个层都包含多个神经元。训练神经网络模型的目标是通过调整模型的权重和偏差，使其能够准确地预测给定的输入数据。优化器是一种用于调整模型权重和偏差的算法，可以加速模型的训练过程并提高模型的准确性。
常见的神经网络优化器包括随机梯度下降（SGD）、momentum、Adam、Adagrad、RMSprop等。
SGD优化器通过计算损失函数的梯度来更新模型的权重和偏差，使其朝着损失函数的最小值方向移动。
Adam优化器是一种自适应学习率优化器，它可以自动调整学习率以适应不同的数据集和模型。它通过计算梯度的一阶矩估计和二阶矩估计来调整学习率。
Adagrad优化器是一种自适应学习率优化器，它可以根据每个参数的历史梯度来调整学习率，使得梯度较大的参数的学习率较小，梯度较小的参数的学习率较大。
RMSprop优化器是一种自适应学习率优化器，它可以根据每个参数的历史梯度来调整学习率，使得梯度较大的参数的学习率较小，梯度较小的参数的学习率较大。与Adagrad不同的是，RMSprop使用指数加权平均来计算历史梯度。
选择合适的神经网络优化器需要考虑数据集的大小、模型的复杂度、训练时间等因素。一般来说，Adam优化器适用于大型数据集和复杂模型，而SGD优化器适用于小型数据集和简单模型。
优化器的超参数包括学习率、动量、权重衰减等。
调整神经网络进行实验，通过比较不同超参数组合的模型性能来选择最优的超参数。
- SGD（随机梯度下降）
- 优点：
- - 简单易实现，计算速度快。
- - 可以应用于大规模数据集。
- 缺点：
- - 容易陷入局部最优解。
- - 学习率需要手动调整，不易确定合适的学习率。
- Momentum
- 优点：
- - 具有动量项，可以加速收敛。
- - 可以应用于大规模数据集。
- 缺点：
- - 容易陷入局部最优解。
- - 学习率需要手动调整，不易确定合适的学习率。
- Adam
- 优点：
- - 自适应学习率，可以自动调整学习率。
- - 具有动量项，可以加速收敛。
- - 适用于大规模数据集和高维度的参数空间。
- 缺点：
- - 对于稀疏梯度的处理不够优秀。
- - 对于一些数据集可能会出现过拟合的情况。
- Adagrad
- 优点：
- - 自适应学习率，可以自动调整学习率。
- - 对于稀疏梯度的处理比较优秀。
- 缺点：
- - 学习率会随着时间的推移不断减小，可能会导致学习率过小，难以收敛。
- - 对于高频梯度的处理不够优秀。 5
- RMSprop
- 优点：
- - 自适应学习率，可以自动调整学习率。
- - 对高频梯度进行平滑处理，从而减少梯度的波动，提高模型的稳定性。
- -适用于大规模数据，只需要存储过去梯度的平方和，而不需要存储所有的梯度
- 缺点：
- -对于高频疏梯度的处理不够优秀，可能会导致模型的性能下降
- - 学习率会随着时间的推移不断减小，可能会导致学习率过小，难以收敛。
