Отношение Рэлея

В математике для данной комплексной эрмитовой матрицы ${\displaystyle M}$ и ненулевого вектора ${\displaystyle x}$ отношение Рэлея[1] ${\displaystyle R(M,x)}$ определяется следующим образом[2][3]:

${\displaystyle R(M,x)={x^{*}Mx \over x^{*}x}.}$

Для действительных матриц условие эрмитовости матрицы сводится к её симметричности, а эрмитово сопряжение векторов ${\displaystyle x^{*}}$ превращается в обычное транспонирование ${\displaystyle x'}$. Заметьте, что ${\displaystyle R(M,cx)=R(M,x)}$ для любой вещественной константы ${\displaystyle c\neq 0}$. Напомним, что эрмитова (как и симметричная вещественная) матрица имеет вещественные собственные значения. Можно показать, что для матрицы отношение Рэлея достигает минимального значения ${\displaystyle \lambda _{\min }}$ (наименьшее собственное число матрицы ${\displaystyle M}$) когда ${\displaystyle x}$ равен ${\displaystyle v_{\min }}$ (соответствующий собственный вектор). Подобным образом можно показать, что ${\displaystyle R(M,x)\leq \lambda _{\max }}$ и ${\displaystyle R(M,v_{\max })=\lambda _{\max }}$. Отношение Рэлея используется в теореме Куранта-Фишера о минимаксе для получения всех значений собственных чисел[4]. Используется оно и в алгоритмах нахождения собственных значений матрицы для получения приближения собственного значения из приближения собственного вектора. А именно, отношение является базой для итераций с отношением Рэлея^[англ.][5][6].

Множество значений отношения Рэлея называется числовым образом матрицы^[англ.][7][8].

Специальный случай ковариационных матриц

Ковариационная матрица M для многомерной статистической выборки A (матрицы наблюдений) может быть представлена в виде произведения A' A[9][10]. Будучи симметричной вещественной матрицей, M имеет неотрицательные собственные значения и ортогональные (или приводимые к ортогональным) собственные вектора.

Во-первых, то, что собственные значения ${\displaystyle \lambda _{i}}$ не отрицательны:

${\displaystyle Mv_{i}=A'Av_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{i}'A'Av_{i}=v_{i}'\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow \left\|Av_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}}$

${\displaystyle \Rightarrow \lambda _{i}={\frac {\left\|Av_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0.}$

И, во-вторых, что собственные вектора ${\displaystyle v_{i}}$ ортогональны друг другу:

${\displaystyle Mv_{i}=\lambda _{i}v_{i}}$

${\displaystyle \Rightarrow v_{j}'Mv_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (Mv_{j})'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}}$

${\displaystyle \Rightarrow (\lambda _{j}-\lambda _{i})v_{j}'v_{i}=0}$

${\displaystyle \Rightarrow v_{j}'v_{i}=0}$ (если собственные значения различны — в случае одинаковых значений можно найти ортогональный базис).

Теперь покажем, что отношение Рэлея принимает максимальное значение на векторе, соответствующем наибольшее собственное значение. Разложим произвольный вектор ${\displaystyle x}$ по базису собственных нормированных векторов v_i:

${\displaystyle x=\sum _{i=1}^{n}\alpha _{i}v_{i}}$, где ${\displaystyle \alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}}$ является проекцией x на ${\displaystyle v_{i}}$

${\displaystyle \forall i,||v_{i}||={\sqrt {(v_{i}'v_{i})}}=1}$

Таким образом, равенство

${\displaystyle R(M,x)={\frac {x'A'Ax}{x'x}}}$

можно переписать в следующем виде:

${\displaystyle R(M,x)={\frac {(\sum _{j=1}^{n}\alpha _{j}v_{j})'A'A(\sum _{i=1}^{n}\alpha _{i}v_{i})}{(\sum _{j=1}^{n}\alpha _{j}v_{j})'(\sum _{i=1}^{n}\alpha _{i}v_{i})}}}$

Поскольку собственные вектора ортогональны, последнее равенство превращается в

${\displaystyle R(M,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}}$

Последнее равенство показывает, что отношение Рэлея является суммой квадратов косинусов углов между вектором ${\displaystyle x}$ и каждым из собственных векторов ${\displaystyle v_{i}}$, умноженных на соответствующее собственное значение.

Если вектор ${\displaystyle x}$ максимизирует ${\displaystyle R(M,x)}$, то все вектора, полученные из ${\displaystyle x}$ умножением на скаляр (${\displaystyle kx}$ для ${\displaystyle k\neq 0}$) также максимизируют R. Таким образом, задачу можно свести к нахождению максимума ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}$ при условии ${\displaystyle \sum _{i=1}^{n}\alpha _{i}^{2}=1}$.

Поскольку все собственные числа не отрицательны, задача сводится к нахождению максимума выпуклой функции и можно показать, что он достигается при ${\displaystyle \alpha _{1}=1}$ и ${\displaystyle \forall i>1,\alpha _{i}=0}$ (собственные значения упорядочены по убыванию).

Таким образом, отношение Рэлея достигает максимума на собственном векторе, соответствующему максимальному собственному значению.

Тот же результат с использованием множителей Лагранжа

Тот же результат может быть получен с помощью множителей Лагранжа. Задача состоит в нахождении критических точек функции

${\displaystyle R(M,x)=x^{T}Mx}$,

при постоянной величине ${\displaystyle \|x\|^{2}=x^{T}x=1.}$ То есть, нужно найти критические точки функции

${\displaystyle {\mathcal {L}}(x)=x^{T}Mx-\lambda (x^{T}x-1),}$

где ${\displaystyle \lambda }$ — множитель Лагранжа. Для стационарных точек функции ${\displaystyle {\mathcal {L}}(x)}$ выполняется равенство

${\displaystyle {\frac {d{\mathcal {L}}(x)}{dx}}=0}$

${\displaystyle \therefore 2x^{T}M^{T}-2\lambda x^{T}=0}$

${\displaystyle \therefore Mx=\lambda x}$

и ${\displaystyle R(M,x)={\frac {x^{T}Mx}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda .}$

Таким образом, собственные вектора ${\displaystyle x_{1}\ldots x_{n}}$ матрицы M являются критическими точками отношения Рэлея и их собственные значения ${\displaystyle \lambda _{1}\ldots \lambda _{n}}$ — соответствующими стационарными значениями.

Это свойство является базисом метода главных компонент и канонической корреляции.

Использование в теории Штурма — Лиувилля

Теория Штурма — Лиувилля заключается в исследовании линейного оператора

${\displaystyle L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)}$

со скалярным произведением

${\displaystyle \langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx}$,

где функции удовлетворяют некоторым специфичным граничным условиям в точках a и b. Отношение Рэлея здесь принимает вид

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)}dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}.}$

Иногда это отношение представляют в эквивалентном виде используя интегрирование по частям[11]:

${\displaystyle {\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}{y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)}dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-y(x)\left[p(x)y'(x)\right]|_{a}^{b}+\int _{a}^{b}{y'(x)\left[p(x)y'(x)\right]}\,dx+\int _{a}^{b}{q(x)y(x)^{2}}\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}}$

${\displaystyle ={\frac {-p(x)y(x)y'(x)|_{a}^{b}+\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}.}$

Обобщение

Для любой пары ${\displaystyle (A,B)}$ вещественных симметричных положительно определённых матриц и ненулевого вектора ${\displaystyle x}$, обобщенное отношение Рэлея определяется как

${\displaystyle R(A,B;x):={\frac {x^{T}Ax}{x^{T}Bx}}.}$

Обобщённое отношение Рэлея можно свести к отношению Рэлея ${\displaystyle R(D,Cx)}$ путём преобразования ${\displaystyle D={C^{*}}^{-1}AC^{-1}}$, где ${\displaystyle C}$ — разложение Холецкого матрицы ${\displaystyle B}$.

См. также

• Числовой образ матрицы^[англ.]

Примечания

1. также известно под именем отношение Рэлея-Рица, названного в честь Вальтера Рица и Лорда Рэлея.
2. Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176–180.
3. Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics,1998
4. Беккенбах, 1965, §26 Минимакс-теорема Фишера.
5. Парлетт, 1983, §4.6 Итерации с отношением Релея, p. 87).
6. Вербицкий, 2000, §4.3 Обратные итерации, p. 115.
7. Геворгян.
8. Прасолов, 2008, 2.2 Ядро и образ оператора. Факторпространство., p. 114.
9. Коршунов, 2008, Введение.
10. ACTA, 2005.
11. Haberman, 1987.

Литература

• Б. Парлетт. Симметричная проблема собственных значений. Численные методы. — 1983.
• Э. Беккенббах, Р. Беллман. Неравенства. — Москва «Мир», 1965.
• Richard Haberman. Elementary applied partial differential equations. — Prentice Hall, Englewood, New Jersey, 1987.
• В. М. Вержбицкий. Численные методы (Линейная алгебра и нелинейные уравнения). — Москва «Высшая школа», 2000.
• В. В. Прасолов. Задачи и теоремы линейной алгебры. — Москва, 2008.
• Геворгян Л. З. Некоторые геометрические характеристики числового образа оператора. — Государственный Инженерный Университет Армении. Архивировано 31 августа 2006 года.
• Zdzisław Burda, Jerzy Jurkiewicz, Bartłomiej Wacław. Eigenvalue density of empirical covariance matrix for correlated samples // Acta physica polonica B. — 2005. — Т. 36, вып. 9. — С. 2642.
• Коршунов Ю. М. Получение многомерной статистической выборки с заданными корреляционными свойствами // Вестник РГРТУ. — 2008. — Вып. 23.
• Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau. Ch. 2 // Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. — Springer, 2011.