我最近在研究机器学习，对超参数优化非常感兴趣。-wave-你可以告诉我常用的超参数优化方法有哪些吗？-wave-我希望你能把答案写成一个包含三个要点的列表，每个要点都包含至少一个适合该方法的应用场景。-wave-
user
- 随机搜索：
  - 应用场景：当处理相对小的超参数空间时，随机搜索能够以较高的效率找到不错的参数配置。
- 网格搜索：
  - 应用场景：适用于超参数空间不大且各超参数对算法表现影响显著程度相近的情况，通过详尽地比较所有可能的超参数组合来确定最佳配置。
- 贝叶斯优化：
  - 应用场景：特别适合优化成本高昂或计算资源有限的问题，能够通过迭代过程逐步减少搜索空间，提高效率同时找到接近最优的超参数配置。
assistant