最急降下法は、勾配法とも呼ばれ、無制約最適化における最も基本的なアルゴリズムの1つです。各反復で、目的関数の局所的な減少方向である負の勾配方向に移動し、一次元探索によって最適なステップサイズを決定します。シンプルで計算コストが低い一方で、特に条件の悪い問題の最小値付近では、特徴的なジグザグ経路を示すことが多く、収束が遅くなります。この記事では、基礎となる理論を説明し、凸二次関数を用いて幾何学的な挙動を示し、完全なC++実装を提供します。最急降下法を理解することは、共役勾配法や準ニュートン法などのより高度な最適化手法を理解するために不可欠です。機械学習や数値計算において、より洗練されたアルゴリズムを比較・デバッグするための貴重なベースラインとして今もなお重要です。
無制約最適化における最急降下法（勾配法）を、ジグザグ収束の性質と実用的なC++の例を通して明確に解説します。