La transformation de Möbius est une involution de (ou de la sphère de Riemann, en ajoutant les valeurs et ) ; on peut envisager de la généraliser à un anneau unitaireA, puisque si est inversible, son inverse commute avec , donc avec ; le cas des matrices s'avère avoir une signification géométrique importante.
c'est-à-dire[1]Ac = (I – A)(I + A)−1, ou encore Ac = (I + A)−1(I – A), vérifie
.
La transformation de Cayley, M ↦ Mc, est donc une involution de l'ensemble des matrices M telles que I + M soit inversible, c'est-à-dire que
.
Si A est une matrice réelle et antisymétrique (c'est-à-dire telle que AT = −A), alors I + A est inversible et Q := Ac est une matrice orthogonale dont −1 n'est pas valeur propre, ce qui exclut les matrices orthogonales de déterminant –1 ainsi que certaines matrices de rotation. Réciproquement, si Q est une matrice orthogonale n'ayant pas −1 pour valeur propre, alors Qc est une matrice antisymétrique dont −1 n'est pas valeur propre.
Plus généralement, si A est une matrice complexe antihermitienne alors I + A est inversible et Q := Ac est une matrice unitaire dont −1 n'est pas valeur propre, et réciproquement.
On rencontre parfois une forme légèrement différente, demandant deux applications distinctes, et n'utilisant pas la notation « c » en exposant :
.
Exemples
On a .
Dans le cas 2×2, on a . La matrice de rotation d'un demi-tour, −I, est exclue, même si elle est obtenue comme limite lorsque tan θ⁄2 tend vers l'infini.
Dans le cas 3×3, on a,où K = w2 + x2 + y2 + z2, et où w = 1. On reconnaît la matrice de rotation correspondant au quaternion (formule que Cayley avait publiée l'année précédente), si ce n'est qu'elle est normalisée pour que w = 1 au lieu de la condition usuelle w2 + x2 + y2 + z2 = 1. Ainsi, le vecteur (x,y,z) est le vecteur unitaire de l'axe de rotation multiplié par tan θ⁄2. Les rotations d'un demi-tour sont à nouveau exclues ; dans ce cas, il s'agit des matrices Q qui sont symétriques.
Autres matrices
Lorsqu'on passe des matrices réelles aux matrices complexes, la transposition est remplacée par la transconjugaison (·H). Cela revient à remplacer le produit scalaire réel standard par le produit scalaire complexe. En fait, on peut généraliser davantage en prenant d'autres choix de matrice adjointe ; la définition ne demande en effet que l'inversibilité de I + M.
En dimension infinie, les espaces euclidiens sont remplacés par des espaces de Hilbert, et on ne peut plus parler de matrices. Cependant, il reste possible de généraliser la transformation de Cayley aux opérateurs linéaires :