数学における、与えられた複素エルミート行列 M と零でないベクトル x に対するレイリー商(れいりーしょう、: Rayleigh quotient)またはレイリー・リッツ比(レイリー・リッツひ、: Rayleigh–Ritz ratio)は次のように定義される[1][2]

名称は物理学者レイリー卿ヴァルター・リッツに因む。

行列および実ベクトルについて、エルミート行列である条件は対称行列である条件に、共役転置 x* は単なる転置 xT に一致し、また任意の零でない実スカラー c に対してレイリー商は R(M, cx) = R(M, x) を満たす。エルミート(または実対称)行列の性質より、その固有値は実数であるから、レイリー商 R(M, x)最小値は行列 M の最小の固有値 λmin に等しく、このときベクトル x は最小固有値に対応する固有ベクトル vmin に等しい。同様にレイリー商の最大値は行列 M の最大固有値 λmax に等しく、このときベクトル x は最大固有値に対応する固有ベクトル vmax に等しい。

レイリー商はミニマックス定理英語版において行列のすべての固有値の厳密な値を求めることに利用される。また固有値計算アルゴリズムにおいて近似的な固有ベクトルから固有値の近似値を求めることにも利用される。具体的には、レイリー商反復法英語版に基づく。

エルミート行列に限らない一般のレイリー商の値域数域英語版と呼ばれる(あるいは関数解析学においてはスペクトルという)。エルミート行列のレイリー商について、その数域はスペクトルノルムに等しい。関数解析学においては、λmaxスペクトル半径として知られる。C*代数や代数的量子力学の文脈では、固定された x と代数上で動く M に対するレイリー商 R(M, x) を、M の代数上のベクトル状態 (vector state) と見なすことがある。

エルミート行列の境界編集

冒頭の概要で述べた通り、エルミート行列 M に対するレイリー商 R(M, x)実数値を取り、その範囲は M の最小固有値 λmin と最大固有値 λmax の間となる。

 

このことは、ベクトル xM固有ベクトル{vi} によって展開できることから直ちに示すことができる。固有値 λi と固有ベクトル vi の間に

 

という関係が成り立ち、ベクトル x が固有ベクトルによって以下のように展開できるとする:

 

x の固有ベクトルによる展開をレイリー商に適用すれば、レイリー商が M の固有値の重み付き平均に等しくなることが示される:

 

ただし固有ベクトル{vi}正規直交化されているものとする(vi*vj = δijクロネッカーのデルタ)。重み付き平均の形から、レイリー商の値域とその境界が固有ベクトル vmin, vmax によって定められることが確認できる。

レイリー商が固有値の重み付き平均に等しいという事実から、すべての固有値を特定することができる。それぞれの固有値が λmax = λ1λ2 ≥ ... ≥ λn = λmin と降順に並べてあるとすると、x が基底 v1直交するという条件の下では、v1*x = a1 = 0 であり、レイリー商 R(M, x) の最大値は λ2 となる。またこのとき x = v2 である。

共分散行列編集

経験的な共分散行列 Mデータ行列英語版 A とその転置行列 AT を用いて ATA と表すことができる。半正定値性から、M固有値は非負であり、固有ベクトル直交系をなす(あるいは直交化可能である)。このことを以下に示す。

まず、固有値 λi は非負である。固有値と固有ベクトルの関係より

 

である。両辺に固有ベクトルを掛ければ

 

となる。また M = ATA であるから、

 

とも書ける。ノルムが非負であることから固有値が非負であることが分かる。

 

次に、固有ベクトル vi が互いに直交することを示す。 異なる2つの固有ベクトル vi, vj について、

 

である。一方で、M対称であるため、

 

が成り立つ。したがって、

 

でなければならない。2つの固有値 λi, λj が異なる値である場合、直ちに固有ベクトルの直交性が示される:

 

固有値が等しい場合、2つの固有ベクトルが独立であることを利用し、固有ベクトルの線型結合として他方と直交する固有ベクトルを新たに作り出すことができる。したがって、固有ベクトルは正規直交系をなすものとしてよい。

レイリー商の最大化を行うため、固有ベクトルによる展開を考える。任意のベクトル x は固有ベクトルを基底として以下のように展開することができる:

 

固有ベクトルが正規直交系をなすとすれば、展開係数は

 

となる。したがってレイリー商 R(M, x) は固有ベクトルによって以下のように展開できる:

 

これは内積vi, x を用いて次のようにも書ける:

 

ラグランジュの未定乗数法による導出編集

のレイリー商に関する関係はラグランジュの未定乗数法を用いても導くことができる。問題は

 [注 1]

停留点を求めることである。これは次のように書き直すことができる:

 

ここで λ は未定乗数であり、 ラグランジュ関数と呼ばれる。 ラグランジュ関数の停留点において、拘束条件 ‖ x ‖2 − 1 は自動的に満たされ、

 

より停留点におけるレイリー商は以下のように与えられる:

 

行列 M の固有ベクトル達 {xi} はレイリー商の停留点であり、対応する固有値達 {λi} はレイリー商の停留値となる。この性質は主成分分析正準相関分析英語版の基礎となっている。

一般化編集

レイリー商の一般化として以下のようなものがある。

与えられた行列の組 (A, B) および零でないベクトル x に対する一般化されたレイリー商 (generalized Rayleigh quotient) は以下のように定義される:

 

一般化されたレイリー商は狭義のレイリー商 R(D, C*x) へ簡約することができる。ここで

 

であり、CC*正定値エルミート行列 Bコレスキー分解である。

与えられた零でないベクトルの組 (x, y) およびエルミート行列 H に対する一般化されたレイリー商は次のように定義される:

 

これは x = y の場合に狭義のレイリー商 R(H, x) と一致する。

関連項目編集

注釈編集

  1. ^ “subject to” に続く式が拘束条件を表す。

出典編集

参考文献編集

  • Horn, R. A.; Johnson, C. A. (1985). Matrix Analysis. Cambridge University Press. 
  • Parlet, B. N. (1998). “The symmetric eigenvalue problem”. Classics in Applied Mathematics (SIAM). 
  • Yu, Shi; Tranchevent, Léon-Charles; Moor, Bart; Moreau, Yves (2011-3-26). “Chapter 2 Rayleigh Quotient Type Problems in Machine Learning”. Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining. Springer. ISBN 9783642194054. https://books.google.com/books?id=U6-ubGYgf7QC.