Usuário(a):Cesarb89/Testes

Properties

Proofs for some of these facts may be found on a separate page, Proofs involving the Moore–Penrose inverse.

Reduction to Hermitian case

The computation of the pseudoinverse is reducible to its construction in the Hermitian case. This is possible through the equivalences:

$A^{+}=\left(A^{*}A\right)^{+}A^{*},$

$A^{+}=A^{*}\left(AA^{*}\right)^{+},$

as $A^{*}A$ and $AA^{*}$ are Hermitian.

Products

If $A\in \mathbb {K} ^{m\times n},\ B\in \mathbb {K} ^{n\times p}$, and if

1. $A$ has orthonormal columns (that is, $A^{*}A=I_{n}$),   or
2. $B$ has orthonormal rows (that is, $BB^{*}=I_{n}$),   or
3. $A$ has all columns linearly independent (full column rank) and $B$ has all rows linearly independent (full row rank),   or
4. $B=A^{*}$ (that is, $B$ is the conjugate transpose of $A$),

then

$(AB)^{+}=B^{+}A^{+}.$

The last property yields the equalities

${\begin{aligned}\left(AA^{*}\right)^{+}&=A^{+*}A^{+},\\\left(A^{*}A\right)^{+}&=A^{+}A^{+*}.\end{aligned}}$

NB: The equality $(AB)^{+}=B^{+}A^{+}$ does not hold in general. See the counterexample:

${\Biggl (}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}{\begin{pmatrix}0&0\\1&1\end{pmatrix}}{\Biggr )}^{+}={\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}={\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}\quad \neq \quad {\begin{pmatrix}{\tfrac {1}{4}}&0\\{\tfrac {1}{4}}&0\end{pmatrix}}={\begin{pmatrix}0&{\tfrac {1}{2}}\\0&{\tfrac {1}{2}}\end{pmatrix}}{\begin{pmatrix}{\tfrac {1}{2}}&0\\{\tfrac {1}{2}}&0\end{pmatrix}}={\begin{pmatrix}0&0\\1&1\end{pmatrix}}^{+}{\begin{pmatrix}1&1\\0&0\end{pmatrix}}^{+}$

Projectors

$P=AA^{+}$ and $Q=A^{+}A$ are orthogonal projection operators, that is, they are Hermitian ($P=P^{*}$, $Q=Q^{*}$) and idempotent ($P^{2}=P$ and $Q^{2}=Q$). The following hold:

• $PA=AQ=A$ and $A^{+}P=QA^{+}=A^{+}$
• $P$ is the orthogonal projector onto the range of $A$ (which equals the orthogonal complement of the kernel of $A^{*}$).
• $Q$ is the orthogonal projector onto the range of $A^{*}$ (which equals the orthogonal complement of the kernel of $A$).
• $(I-Q)=\left(I-A^{+}A\right)$ is the orthogonal projector onto the kernel of $A$.
• $(I-P)=\left(I-AA^{+}\right)$ is the orthogonal projector onto the kernel of $A^{*}$.

The last two properties imply the following identities:

• $A\,\ \left(I-A^{+}A\right)=\left(I-AA^{+}\right)A\ \ =0$
• $A^{*}\left(I-AA^{+}\right)=\left(I-A^{+}A\right)A^{*}=0$

Another property is the following: if $A\in \mathbb {K} ^{n\times n}$ is Hermitian and idempotent (true if and only if it represents an orthogonal projection), then, for any matrix $B\in \mathbb {K} ^{m\times n}$ the following equation holds:

$A(BA)^{+}=(BA)^{+}$

This can be proven by defining matrices $C=BA$, $D=A(BA)^{+}$, and checking that $D$ is indeed a pseudoinverse for $C$ by verifying that the defining properties of the pseudoinverse hold, when $A$ is Hermitian and idempotent.

From the last property it follows that, if $A\in \mathbb {K} ^{n\times n}$ is Hermitian and idempotent, for any matrix $B\in \mathbb {K} ^{n\times m}$

$(AB)^{+}A=(AB)^{+}$

Finally, if $A$ is an orthogonal projection matrix, then its pseudoinverse trivially coincides with the matrix itself, that is, $A^{+}=A$.

Geometric construction

If we view the matrix as a linear map $A:K^{n}\to K^{m}$ over a field $K$ then $A^{+}:K^{m}\to K^{n}$ can be decomposed as follows. We write $\oplus$ for the direct sum, $\perp$ for the orthogonal complement, $\operatorname {ker}$ for the kernel of a map, and $\operatorname {ran}$ for the image of a map. Notice that $K^{n}=\left(\operatorname {ker} A\right)^{\perp }\oplus \operatorname {ker} A$ and $K^{m}=\operatorname {ran} A\oplus \left(\operatorname {ran} A\right)^{\perp }$. The restriction $A:\left(\operatorname {ker} A\right)^{\perp }\to \operatorname {ran} A$ is then an isomorphism. This implies that $A^{+}$ on $\operatorname {ran} A$ is the inverse of this isomorphism, and is zero on $\left(\operatorname {ran} A\right)^{\perp }.$

In other words: To find $A^{+}b$ for given $b$ in $K^{m}$, first project $b$ orthogonally onto the range of $A$, finding a point $p(b)$ in the range. Then form $A^{-1}(\{p(b)\})$, that is, find those vectors in $K^{n}$ that $A$ sends to $p(b)$. This will be an affine subspace of $K^{n}$ parallel to the kernel of $A$. The element of this subspace that has the smallest length (that is, is closest to the origin) is the answer $A^{+}b$ we are looking for. It can be found by taking an arbitrary member of $A^{-1}(\{p(b)\})$ and projecting it orthogonally onto the orthogonal complement of the kernel of $A$.

This description is closely related to the Minimum norm solution to a linear system.

Subspaces

${\begin{aligned}\operatorname {ker} \left(A^{+}\right)&=\operatorname {ker} \left(A^{*}\right)\\\operatorname {ran} \left(A^{+}\right)&=\operatorname {ran} \left(A^{*}\right)\end{aligned}}$

Limit relations

The pseudoinverse are limits:

$A^{+}=\lim _{\delta \searrow 0}\left(A^{*}A+\delta I\right)^{-1}A^{*}=\lim _{\delta \searrow 0}A^{*}\left(AA^{*}+\delta I\right)^{-1}$

(see Tikhonov regularization). These limits exist even if $\left(AA^{*}\right)^{-1}$ or $\left(A^{*}A\right)^{-1}$ do not exist.

Continuity

In contrast to ordinary matrix inversion, the process of taking pseudoinverses is not continuous: if the sequence $\left(A_{n}\right)$ converges to the matrix $A$ (in the maximum norm or Frobenius norm, say), then $(A_{n})^{+}$ need not converge to $A^{+}$. However, if all the matrices have the same rank, $(A_{n})^{+}$ will converge to $A^{+}$.

Derivative

The derivative of a real valued pseudoinverse matrix which has constant rank at a point $x$ may be calculated in terms of the derivative of the original matrix:

${\frac {\mathrm {d} }{\mathrm {d} x}}A^{+}(x)=-A^{+}\left({\frac {\mathrm {d} }{\mathrm {d} x}}A\right)A^{+}~+~A^{+}A^{+{\text{T}}}\left({\frac {\mathrm {d} }{\mathrm {d} x}}A^{\text{T}}\right)\left(I-AA^{+}\right)~+~\left(I-A^{+}A\right)\left({\frac {\text{d}}{{\text{d}}x}}A^{\text{T}}\right)A^{+{\text{T}}}A^{+}$

Special cases

Scalars

It is also possible to define a pseudoinverse for scalars and vectors. This amounts to treating these as matrices. The pseudoinverse of a scalar $x$ is zero if $x$ is zero and the reciprocal of $x$ otherwise:

$x^{+}={\begin{cases}0,&{\mbox{if }}x=0;\\x^{-1},&{\mbox{otherwise}}.\end{cases}}$

Vectors

The pseudoinverse of the null (all zero) vector is the transposed null vector. The pseudoinverse of a non-null vector is the conjugate transposed vector divided by its squared magnitude:

$x^{+}={\begin{cases}0^{\mathrm {T} },&{\mbox{if }}x=0;\\{x^{*} \over x^{*}x},&{\mbox{otherwise}}.\end{cases}}$

Linearly independent columns

If the columns of $A$ are linearly independent (so that $m\geq n$), then $A^{*}A$ is invertible. In this case, an explicit formula is:

$A^{+}=\left(A^{*}A\right)^{-1}A^{*}$.

It follows that $A^{+}$ is then a left inverse of $A$:   $A^{+}A=I_{n}$.

Linearly independent rows

If the rows of $A$ are linearly independent (so that $m\leq n$), then $AA^{*}$ is invertible. In this case, an explicit formula is:

$A^{+}=A^{*}\left(AA^{*}\right)^{-1}$.

It follows that $A^{+}$ is a right inverse of $A$:   $AA^{+}=I_{m}$.

Orthonormal columns or rows

This is a special case of either full column rank or full row rank (treated above). If $A$ has orthonormal columns ($A^{*}A=I_{n}$) or orthonormal rows ($AA^{*}=I_{m}$), then:

$A^{+}=A^{*}$.

Orthogonal projection matrices

If $A$ is an orthogonal projection matrix, that is, $A=A^{*}$ and $A^{2}=A$, then the pseudoinverse trivially coincides with the matrix itself:

$A^{+}=A$.

Circulant matrices

For a circulant matrix $C$, the singular value decomposition is given by the Fourier transform, that is, the singular values are the Fourier coefficients. Let ${\mathcal {F}}$ be the Discrete Fourier Transform (DFT) matrix, then

${\begin{aligned}C&={\mathcal {F}}\cdot \Sigma \cdot {\mathcal {F}}^{*}\\C^{+}&={\mathcal {F}}\cdot \Sigma ^{+}\cdot {\mathcal {F}}^{*}\end{aligned}}$

Construção

Rank decomposition

Let $r\leq \min(m,n)$ denote the rank of $A\in K^{m\times n}$. Then $A$ can be (rank) decomposed as $A=BC$ where $B\in K^{m\times r}$ and $C\in K^{r\times n}$ are of rank $r$. Then $A^{+}=C^{+}B^{+}=C^{*}\left(CC^{*}\right)^{-1}\left(B^{*}B\right)^{-1}B^{*}$.

The QR method

For $\mathbb {K} \in \{\mathbb {R} ,\mathbb {C} \}$ computing the product $AA^{*}$ or $A^{*}A$ and their inverses explicitly is often a source of numerical rounding errors and computational cost in practice. An alternative approach using the QR decomposition of $A$ may be used instead.

Consider the case when $A$ is of full column rank, so that $A^{+}=(A^{*}A)^{-1}A^{*}$. Then the Cholesky decomposition $A^{*}A=R^{*}R$, where $R$ is an upper triangular matrix, may be used. Multiplication by the inverse is then done easily by solving a system with multiple right-hand sides,

$A^{+}=(A^{*}A)^{-1}A^{*}\quad \Leftrightarrow \quad (A^{*}A)A^{+}=A^{*}\quad \Leftrightarrow \quad R^{*}RA^{+}=A^{*}$

which may be solved by forward substitution followed by back substitution.

The Cholesky decomposition may be computed without forming $A^{*}A$ explicitly, by alternatively using the QR decomposition of $A=QR$, where $Q$ has orthonormal columns, $Q^{*}Q=I$, and $R$ is upper triangular. Then

$A^{*}A\,=\,(QR)^{*}(QR)\,=\,R^{*}Q^{*}QR\,=\,R^{*}R$,

so $R$ is the Cholesky factor of $A^{*}A$.

The case of full row rank is treated similarly by using the formula $A^{+}=A^{*}(AA^{*})^{-1}$ and using a similar argument, swapping the roles of $A$ and $A^{*}$.

Singular value decomposition (SVD)

A computationally simple and accurate way to compute the pseudoinverse is by using the singular value decomposition. If $A=U\Sigma V^{*}$ is the singular value decomposition of $A$, then $A^{+}=V\Sigma ^{+}U^{*}$. For a rectangular diagonal matrix such as $\Sigma$, we get the pseudoinverse by taking the reciprocal of each non-zero element on the diagonal, leaving the zeros in place, and then transposing the matrix. In numerical computation, only elements larger than some small tolerance are taken to be nonzero, and the others are replaced by zeros. For example, in the MATLAB, GNU Octave, or NumPy function pinv, the tolerance is taken to be t = ε⋅max(m, n)⋅max(Σ), where ε is the machine epsilon.

The computational cost of this method is dominated by the cost of computing the SVD, which is several times higher than matrix–matrix multiplication, even if a state-of-the art implementation (such as that of LAPACK) is used.

The above procedure shows why taking the pseudoinverse is not a continuous operation: if the original matrix $A$ has a singular value 0 (a diagonal entry of the matrix $\Sigma$ above), then modifying $A$ slightly may turn this zero into a tiny positive number, thereby affecting the pseudoinverse dramatically as we now have to take the reciprocal of a tiny number.

Block matrices

Optimized approaches exist for calculating the pseudoinverse of block structured matrices.

Atualizando a pseudoinversa

Para os casos em que $A$ tem posto de linha ou coluna completo e o inverso da matriz de correlação ($AA^{*}$ para $A$ com classificação de linha completa ou $A^{*}A$ para classificação de coluna completa) já é conhecido, o pseudoinverso para matrizes relacionadas a $A$ pode ser calculado aplicando a fórmula de Sherman-Morrison-Woodbury para atualizar o inverso da matriz de correlação, o que pode exigir menos trabalho. Em particular, se a matriz relacionada difere da original apenas por uma linha ou coluna alterada, adicionada ou excluída, existem algoritmos incrementais que exploram o relacionamento.

Da mesma forma, é possível atualizar o fator Cholesky quando uma linha ou coluna é adicionada, sem criar explicitamente o inverso da matriz de correlação. No entanto, atualizar o pseudoinverso no caso com deficiência de classificação geral é muito mais complicado.

Bibliotecas de software

Implementações de alta qualidade de SVD, QR e substituição reversa estão disponíveis em bibliotecas padrão, como LAPACK . Escrever sua própria implementação de SVD é um grande projeto de programação que requer conhecimento numérico significativo. Em circunstâncias especiais, como computação paralela ou computação embarcada, entretanto, implementações alternativas por QR ou mesmo o uso de um inverso explícito podem ser preferíveis, e implementações personalizadas podem ser inevitáveis.

O pacote Python NumPy fornece um cálculo pseudoinverso através de sua matrix. I e linalg.pinv ; seu pinv usa o algoritmo baseado em SVD. SciPy adiciona uma função scipy.linalg.pinv que usa um solucionador de mínimos quadrados.

O pacote MASS para R fornece um cálculo do inverso de Moore-Penrose por meio da função ginv . A função ginv calcula um pseudoinverso usando a decomposição de valor singular fornecida pela função svd no pacote R base. Uma alternativa é empregar a função pinv disponível no pacote pracma.

A linguagem de programação Octave fornece um pseudoinverso por meio da função de pacote padrão pinv e do método pseudo_inverse() .

Em Julia (linguagem de programação), o pacote LinearAlgebra da biblioteca padrão fornece uma implementação do pinv() inverso de Moore-Penrose implementado por meio de decomposição de valor singular.

Aplicações

Mínimos quadrados lineares

O pseudoinverso fornece uma solução de mínimos quadrados para um sistema de equações lineares . Para $A\in \mathbb {K} ^{m\times n}$, dado um sistema de equações lineares

$$Ax=b,$$

em geral, um vetor $x$ que resolve o sistema pode não existir ou, se existir, pode não ser único. O pseudoinverso resolve o problema dos "mínimos quadrados" da seguinte forma:

• $\forall x\in \mathbb {K} ^{n}$,, we have $\left\|Ax-b\right\|_{2}\geq \left\|Az-b\right\|_{2}$ where $z=A^{+}b$ and $\|\cdot \|_{2}$ denotes the Euclidean norm. This weak inequality holds with equality if and only if $x=A^{+}b+\left(I-A^{+}A\right)w$ for any vector $w$; this provides an infinitude of minimizing solutions unless $A$ has full column rank, in which case $\left(I-A^{+}A\right)$ is a zero matrix. The solution with minimum Euclidean norm is $z.$
• Este resultado é facilmente estendido a sistemas com múltiplos lados direitos, quando a norma euclidiana é substituída pela norma de Frobenius. Seja $B\in \mathbb {K} ^{m\times p}$
• $\forall X\in \mathbb {K} ^{n\times p}$, we have $\|AX-B\|_{\mathrm {F} }\geq \|AZ-B\|_{\mathrm {F} }$ where $Z=A^{+}B$ and $\|\cdot \|_{\mathrm {F} }$ denotes the Frobenius norm.

Obtendo todas as soluções de um sistema linear

Se o sistema linear

$Ax=b$

tem alguma solução, todas elas são dadas por

$x=A^{+}b+\left[I-A^{+}A\right]w$

para vetor arbitrário $w$. Solução(ões) existem se e somente se $AA^{+}b=b$ . Se esta última for válida, então a solução é única se e somente se $A$ tem classificação de coluna completa, nesse caso $I-A^{+}A$ é uma matriz zero. Se existirem soluções, mas $A$ não tem posto de coluna completo, então temos um sistema indeterminado, cuja infinidade de soluções é dada por esta última equação.

Solução de norma mínima para um sistema linear

Para sistemas lineares $Ax=b,$ com soluções não únicas (como sistemas subdeterminados), o pseudoinverso pode ser usado para construir a solução da norma euclidiana mínima $\|x\|_{2}$ entre todas as soluções.

• Se $Ax=b$ é satisfatório, o vetor $z=A^{+}b$ é uma solução e satisfaz $\|z\|_{2}\leq \|x\|_{2}$ para todas as soluções.

Este resultado é facilmente estendido a sistemas com múltiplos lados direitos, quando a norma euclidiana é substituída pela norma de Frobenius. Deixar$B\in \mathbb {K} ^{m\times p}$.

• Se $AX=B$ é satisfatório, a matriz $Z=A^{+}B$ é uma solução e satisfaz $\|Z\|_{\mathrm {F} }\leq \|X\|_{\mathrm {F} }$ para todas as soluções.

Condicionamento

Usando o pseudoinverso e uma norma matricial, pode-se definir um número de condição para qualquer matriz:

${\mbox{cond}}(A)=\|A\|\left\|A^{+}\right\|.\$

Um número de condição grande implica que o problema de encontrar soluções de mínimos quadrados para o sistema de equações lineares correspondente é mal condicionado, no sentido de que pequenos erros nas entradas de $A$ pode levar a erros enormes nas entradas da solução.

Generalizações

A fim de resolver problemas de mínimos quadrados mais gerais, pode-se definir inversos de Moore-Penrose para todos os operadores lineares contínuos $A:H_{1}\rightarrow H_{2}$ entre dois espaços de Hilbert $H_{1}$ e $H_{2}$, usando as mesmas quatro condições da nossa definição acima. Acontece que nem todo operador linear contínuo possui um pseudoinverso linear contínuo nesse sentido. Aqueles que o fazem são precisamente aqueles cujo alcance está fechado em $H_{2}$.

Existe uma noção de pseudoinverso para matrizes sobre um corpo arbitrário equipado com um automorfismo involutivo arbitrário. Neste cenário mais geral, uma determinada matriz nem sempre possui uma pseudoinversa. A condição necessária e suficiente para que exista um pseudoinverso é que $\operatorname {rank} (A)=\operatorname {rank} \left(A^{*}A\right)=\operatorname {rank} \left(AA^{*}\right)$, onde $A^{*}$ denota o resultado da aplicação da operação de involução à transposta de $A$ . Quando existe, é único. Exemplo : Considere o campo dos números complexos equipado com a involução identidade (em oposição à involução considerada em outra parte do artigo); existem matrizes que não possuem pseudoinversas nesse sentido? Considere a matriz $A={\begin{bmatrix}1&i\end{bmatrix}}^{\operatorname {T} }$ . Observe aquilo $\operatorname {rank} \left(AA^{\operatorname {T} }\right)=1$ enquanto $\operatorname {rank} \left(A^{\operatorname {T} }A\right)=0$ . Portanto esta matriz não possui um pseudoinverso neste sentido.

Na álgebra abstrata, um inverso de Moore-Penrose pode ser definido em um semigrupo *-regular . Esta definição abstrata coincide com a da álgebra linear.

Bibliografia

• Ben-Israel, Adi; Greville, Thomas N.E. (2003). Generalized inverses: Theory and applications 2nd ed. New York, NY: Springer. ISBN 978-0-387-00293-4. doi:10.1007/b97366 
• Campbell, S. L.; Meyer, Jr., C. D. (1991). Generalized Inverses of Linear Transformations. [S.l.]: Dover. ISBN 978-0-486-66693-8 
• Nakamura, Yoshihiko (1991). Advanced Robotics: Redundancy and Optimization. [S.l.]: Addison-Wesley. ISBN 978-0201151985 
• Rao, C. Radhakrishna; Mitra, Sujit Kumar (1971). Generalized Inverse of Matrices and its Applications. New York: John Wiley & Sons. p. 240. ISBN 978-0-471-70821-6 

External links

• Pseudoinverse on PlanetMath
• Interactive program & tutorial of Moore–Penrose Pseudoinverse
• «Moore–Penrose inverse». PlanetMath 
• Weisstein, Eric W. «Pseudoinverse» (em inglês). MathWorld 
• Weisstein, Eric W. «Moore–Penrose Inverse» (em inglês). MathWorld 
• The Moore–Penrose Pseudoinverse. A Tutorial Review of the Theory
• Online Moore-Penrose Inverse calculator