直線探索

直線探索（ちょくせんたんさく、英: line search）は、連続最適化問題において、目的関数 ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} }$ の極小値 ${\displaystyle \mathbf {x} ^{*}}$ を求めるための2つの基本的な反復的アプローチのうちの一つである。もう一つの基本的な反復的アプローチの方法は信頼領域である。

直線探索のアプローチでは、最初に目的関数 ${\displaystyle f}$ の値が小さくなる降下方向を求め、次に、その方向に ${\displaystyle \mathbf {x} }$ をどのくらい動かすかを表すステップサイズを計算する。そのステップサイズを用いて、解を求める方法として、最急降下法、ニュートン法、準ニュートン法など、数多く存在する。ステップサイズは厳密に求める方法と近似的に求める方法がある。

直線探索の主な使用例

次の勾配法の例は、第4ステップで直線探索を用いている。

1. 反復カウンターを ${\displaystyle \displaystyle k=0}$ とする。最小値の初期推定値を ${\displaystyle \mathbf {x} _{0}}$ とする。
2. 以下を反復する:
3.     降下方向 ${\displaystyle \mathbf {p} _{k}}$ を計算する。
4.     ${\displaystyle h(\alpha )=f(\mathbf {x} _{k}+\alpha \mathbf {p} _{k})}$ を ${\displaystyle \alpha \in \mathbb {R} _{+}}$ 上で最小化するような ${\displaystyle \displaystyle \alpha _{k}}$ を決定する。
5.     ${\displaystyle \mathbf {x} _{k+1}=\mathbf {x} _{k}+\alpha _{k}\mathbf {p} _{k}}$ 、 ${\displaystyle \displaystyle k=k+1}$ と更新する。
6. ${\displaystyle \|\nabla f(\mathbf {x} _{k})\|}$ が十分小さくなるまで続ける。

第4ステップにおいては、${\displaystyle h'(\alpha _{k})=0}$ を解いて h の厳密な最小値を求める方法と、十分な減少が得られればよいとして大まかに最小化する方法がある。前者の例としては共役勾配法がある。後者は数多くの方法があるが、例えばバックトラック法やWolfe条件を用いた方法がある。

他の最適化法と同様に、直線探索は局所最小値を脱出するために焼きなまし法と組み合わせることができる。

アルゴリズム

直接探索法

この方法では、最初に最小値を囲むような2点x₁、x₂を決めなければならない。次に、この区間を内点 x₃、x₄ で分割し、それぞれの点で ${\displaystyle f(x)}$ を計算する。そして、x₁、x₂のうち、x₃、x₄で目的関数が大きい方に隣接しているものを除去する。これ以降のステップでは、各ステップで1つの内点のみを加えていけばよい。区間を分割する方法は数多くある[1]が、黄金分割探索は特にシンプルで効果的である。黄金分割探索では、区間の比率はどのステップでも一定である。

${\displaystyle {\frac {1}{\varphi }}(x_{2}-x_{1})=x_{4}-x_{1}=x_{2}-x_{3}=\varphi (x_{2}-x_{4})=\varphi (x_{3}-x_{1})=\varphi ^{2}(x_{4}-x_{3})}$ where ${\displaystyle \varphi ={\frac {1}{2}}(1+{\sqrt {5}})\approx 1.618}$

脚注

1. Box, M. J.; Davies, D.; Swann, W. H. (1969). Non-Linear optimisation Techniques. Oliver & Boyd