Радиально-базисная функция

Радиальная базисная функция (РБФ) — функция из набора однотипных радиальных функций, используемых как функция активации в одном слое искусственной нейронной сети или как-либо ещё, в зависимости от контекста. Радиальная функция^[англ.] — это любая вещественная функция, значение которой зависит только от расстояния до начала координат ${\displaystyle \phi \left(\mathbf {x} \right)=\phi \left(\left\|\mathbf {x} \right\|\right)}$ или от расстояния между некоторой другой точкой ${\displaystyle \mathbf {c} }$, называемой центром: ${\displaystyle \phi \left(\mathbf {x} ,\mathbf {c} \right)=\phi \left(\left\|\mathbf {x} -\mathbf {c} \right\|\right)}$. В качестве нормы обычно выступает евклидово расстояние, хотя можно использовать и другие метрики.

Линейные комбинации радиальных базисных функций также можно использовать для аппроксимации заданной функции. Аппроксимация может быть интерпретирована как простейшая разновидность нейронной сети; именно в этом контексте радиальные базисные функции были впервые определены в работе Дэвида Брумхэда и Дэвид Лоу в 1988 году[1][2], основанной на фундаментальной работе Майкла Пауэлла 1977 года[3][4][5].

Радиальные базисные функции также используются в качестве ядра в методе опорных векторов.[6]

Виды

Часто используемые радиально-базисные функций включают в себя (${\displaystyle r=\left\|\mathbf {x} -\mathbf {x} _{i}\right\|}$):

• Функция Гаусса:

  ${\displaystyle \phi \left(r\right)=e^{-\left(\varepsilon r\right)^{2}}}$

• Мультиквадратичная:

  ${\displaystyle \phi \left(r\right)={\sqrt {1+\left(\varepsilon r\right)^{2}}}}$

• Обратная квадратичная:

  ${\displaystyle {\displaystyle \phi \left(r\right)={\dfrac {1}{1+\left(\varepsilon r\right)^{2}}}}}$

• Обратная мультиквадратичная:

  ${\displaystyle \phi \left(r\right)={\dfrac {1}{\sqrt {1+\left(\varepsilon r\right)^{2}}}}}$

• Полигармонический сплайн:

  ${\displaystyle {\begin{aligned}\phi \left(r\right)&=r^{k},&k&=1,3,5,\dotsc \\\phi \left(r\right)&=r^{k}\ln \left(r\right),&k&=2,4,6,\dotsc \end{aligned}}}$

• Тонкий сплайн пластины (специальный полигармонический сплайн):

  ${\displaystyle \phi \left(r\right)=r^{2}\ln \left(r\right)}$

Приближение

Две ненормализованных гауссовых радиальных базисных функций одной переменной, c центрами в точках ${\displaystyle x_{1}=0{,}75}$ и ${\displaystyle x_{2}=3{,}25}$ соответственно.

Для аппроксимации функций с помощью радиальных базисных функций обычно берётся их линейная комбинация вида:

${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)}$,

где в качестве аппроксимирующей функции ${\displaystyle y\left(\mathbf {x} \right)}$ берётся сумма ${\displaystyle N}$ радиальных базисных функций с центрами в точках ${\displaystyle \mathbf {x} _{i}}$ и коэффициентами ${\displaystyle w_{i}}$. Коэффициенты можно вычислить с помощью метода наименьших квадратов, поскольку аппроксимирующая функция является линейной по отношению к коэффициентам ${\displaystyle w_{i}}$.

Аппроксимационные схемы такого рода особенно полезны^[источник не указан 2423 дня] в прогнозировании временных рядов, управлении нелинейных систем, демонстрирующих достаточно простое хаотическое поведение, и 3D-моделировании в компьютерной графике.

Нейронные сети на основе РБФ

Основная статья: Сеть радиально-базисных функций

Линейная комбинация:

${\displaystyle y\left(\mathbf {x} \right)=\sum _{i=1}^{N}w_{i}\,\phi \left(\left\|\mathbf {x} -\mathbf {x} _{i}\right\|\right)}$

также может быть интерпретирована как простейшая искусственная нейронная сеть с одним слоем, называемая сетью радиально-базисных функций, в которой радиальная базисная функция исполняет роль функции активации. Можно показать, что любая непрерывная функция на компактном интервале в принципе может быть интерполирована с произвольной точностью при достаточно большом ${\displaystyle N}$.

Аппроксимации ${\displaystyle y\left(\mathbf {x} \right)}$ является дифференцируемой по ${\displaystyle w_{i}}$. Коэффициенты можно вычислить при помощи любого стандартного итерационного метода для нейронных сетей.

Таким образом, радиальные базисные функции предоставляют собой гибкий инструмент интерполирования при условии, что множество центров более-менее равномерно покрывает область определения искомой функции (в идеале центры должны быть равноудалены от ближайших соседей). Тем не менее, как правило в промежуточных точках аппроксимация достигает высокой точности только если множество радиальных базисных функций дополнено полиномом, ортогональным к каждой из РБФ.

Примечания

1. Radial Basis Function networks Архивировано 23 апреля 2014 года.
2. Broomhead, Lowe, 1988, p. 321–355
3. Michael J. D. Powell; Michael J. D. Powell. Restart procedures for the conjugate gradient method (англ.) // Mathematical Programming^[англ.] : journal. — Springer, 1977. — Vol. 12. — P. 241—254. — doi:10.1007/bf01593790.
4. Sahin, Ferat (1997). A Radial Basis Function Approach to a Color Image Classification Problem in a Real Time Industrial Application (PDF) (M.Sc.). Virginia Tech. p. 26. Архивировано из оригинала (PDF) 26 октября 2015. Дата обращения: 2 июня 2018. Radial basis functions were first introduced by Powell to solve the real multivariate interpolation problem.
5. Broomhead, Lowe, 1988, p. 347: «We would like to thank Professor M.J.D. Powell at the Department of Applied Mathematics and Theoretical Physics at Cambridge University for providing the initial stimulus for this work.»
6. VanderPlas, Jake. Introduction to Support Vector Machines  (неопр.). [O'Reilly] (6 мая 2015). Дата обращения: 14 мая 2015. Архивировано из оригинала 5 сентября 2015 года.

Литература

• Broomhead, David H.; Lowe, David. Multivariable Functional Interpolation and Adaptive Networks (англ.) // Complex Systems : journal. — 1988. — Vol. 2. — P. 321—355. Архивировано 14 июля 2014 года.
• Buhmann, Martin D. (2003), Radial Basis Functions: Theory and Implementations, Cambridge University Press, ISBN 978-0-521-63338-3 .
• Hardy, R.L. Multiquadric equations of topography and other irregular surfaces (англ.) // Journal of Geophysical Research^[англ.] : journal. — 1971. — Vol. 76, no. 8. — P. 1905—1915. — doi:10.1029/jb076i008p01905. — Bibcode: 1971JGR....76.1905H.
• Hardy, R.L. Theory and applications of the multiquadric-biharmonic method, 20 years of Discovery, 1968 1988 (англ.) // Comp. math Applic : journal. — 1990. — Vol. 19, no. 8/9. — P. 163—208. — doi:10.1016/0898-1221(90)90272-l.
• Press, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007), "Section 3.7.1. Radial Basis Function Interpolation", Numerical Recipes: The Art of Scientific Computing (3rd ed.), New York: Cambridge University Press, ISBN 978-0-521-88068-8
• Sirayanone, С., 1988, сравнительные исследования кригинга, мультиквадриков-бигармонический, и других методов решения проблемы минеральных ресурсов, кандидат технических наук. Диссертация, МЭИ. наук о Земле, Университет штата Айова, Эймс, Айова.
• Sirayanone, S. The Multiquadric-biharmonic Method as Used for Mineral Resources, Meteorological, and Other Applications (англ.) // Journal of Applied Sciences and Computations : journal. — 1995. — Vol. 1. — P. 437—475.