平差作業二

平差理論的第二次作業。內容主要包括廣義逆矩陣、偽逆矩陣、冪等矩陣，是一些簡單的矩陣證明和計算。

廣義逆矩陣

Let A be a m×n matrix, and the rank(A)=r. P and Q are products of elementary matrices such that

P A Q = \begin{bmatrix}
I_r & 0 \\
0 & 0
\end{bmatrix}

The generalized inverse of A is

A^g = Q 
\begin{bmatrix}
I_r & U \\
V & W
\end{bmatrix}
P

where U, V, and W are arbitrary matrices. Show that $A A^g A = A$ (30%)

因為 P Q 為 elementary matrics 的積，為可逆方陣，可以將 A 重寫為：

A = P^{-1} \begin{bmatrix}
I_r & 0 \\
0 & 0
\end{bmatrix}
Q^{-1}

如此則可將 P Q 與自身的逆消除，剩下中間塊矩陣，非單位方陣的部份也在乘上二對角矩陣後消除。至此滿足廣義逆的條件 $A A^g A = A$ 。

\begin{multline}
A A^g A = (
    P^{-1} \begin{bmatrix}
    I_r & 0 \\
    0 & 0
    \end{bmatrix}
    Q^{-1} 
)
(
    Q 
    \begin{bmatrix}
        I_r & U \\
        V & W
    \end{bmatrix}
    P
)
(
    P^{-1} \begin{bmatrix}
    I_r & 0 \\
    0 & 0
    \end{bmatrix}
    Q^{-1} 
) \\
= P^{-1} 
\begin{bmatrix}
    I_r & 0 \\
    0 & 0
\end{bmatrix}
\begin{bmatrix}
    I_r & U \\
    V & W
\end{bmatrix}
\begin{bmatrix}
    I_r & 0 \\
    0 & 0
\end{bmatrix}
Q^{-1}
=
P^{-1} 
\begin{bmatrix}
I_r & 0 \\
0   & 0 
\end{bmatrix}
Q^{-1}
= A
\end{multline}

冪等矩陣

試證下二者為 冪等矩陣 。冪等矩陣定義為自乘為等於自己，若 M 為冪等矩陣，則 $M^2 = M^n = M$ 。

$M = I - B^T ( B P^{-1} B^T ) ^{-1} B P^{-1}$

首先，若一矩陣 M 為冪等矩陣，刖 I - M 亦為冪等矩陣：

(I - M)^2 = I^2 - 2 I M + M^2
= I - 2 M + M
= I - M

故證明 $B^T ( B P^{-1} B^T ) ^{-1} B P^{-1}$ 為冪等矩陣，即可證明 $I - B^T ( B P^{-1} B^T ) ^{-1} B P^{-1}$ 為冪等矩陣。

( B^T ( B P^{-1} B^T ) ^{-1} B P^{-1} ) ^ 2 =
( B^T ( B P^{-1} B^T ) ^{-1} B P^{-1} ) 
( B^T ( B P^{-1} B^T ) ^{-1} B P^{-1} ) \\
= B^T ( B P^{-1} B^T ) ^{-1} 
( B P^{-1}  B^T ) ( B P^{-1} B^T ) ^{-1} 
B P^{-1} =
B^T ( B P^{-1} B^T ) ^{-1} B P^{-1}

若 $B^T ( B P^{-1} B^T ) ^{-1} B P^{-1}$ 為冪等矩陣，則推得 $I - B^T ( B P^{-1} B^T ) ^{-1} B P^{-1}$ 亦為冪等矩陣。

$M = A^T A ( A^T A ) ^+$

根據 偽逆矩陣 的定義，若 $A^+$ 為 $A$ 的 偽逆矩陣 ，則 $A$ 與 $A^+$ 滿足以下種關係：

A A^+ A = A \\
A^+ A A^+ = A^+ \\
(A^+ A)^* = A^+ A \\
(A A^+)^* = A A^+

其中 $M^*$ 為 M 的 共軛轉置矩陣 ，對實數矩陣 M 來說共軛轉置矩陣相當於轉置矩陣 $M^* = M^T$ 。

( A^T A ( A^T A )^+ ) ^ 2
= ( A^T A ) ( A^T A )^+ ( A^T A ) ( A^T A )^+

根據定義， $M M^+ M = M$ ，故上式可再化簡：

( A^T A ) ( A^T A )^+ ( A^T A ) ( A^T A )^+
= ( A^T A ) ( A^T A )^+

得證 $( A^T A ) ( A^T A )^+$ 為冪等矩陣。

偽逆矩陣與特徽值

給定 奇異方陣 A：

A = \begin{bmatrix}
    6 & 2 & 4 & 6 \\
    1 & 5 & 1 & 4 \\
    1 & 2 & 7 & 4 \\
    3 & 1 & 2 & 3
\end{bmatrix}

偽逆矩陣

由 matlab 中的 pinv 函數算出 A 的偽逆矩陣為：

pinv(A) = \begin{bmatrix}
0.1300326 & -0.0657980 & -0.0977199 & 0.0650163 \\
-0.0505537 & 0.1852334 & -0.0054289 & -0.0252769 \\
-0.0252769 & -0.0740499 & 0.1639522 & -0.0126384 \\
0.0370033 & 0.0534202 & -0.0097720 & 0.0185016
\end{bmatrix}

特徵值

試求 $A A^+$ 的特徵值。

A A^+ = \begin{bmatrix}
0.8 & 0 & 0 & 0.4 \\
0   & 1 & 0 & 0   \\
0   & 0 & 1 & 0   \\
0.4 & 0 & 0 & 0.2
\end{bmatrix}

由 matlab 函數 eig 可以求出矩陣的特徵值； eig(A*pinv(A)) 。

A A^+ X = X \Lambda = X \begin{bmatrix}
1 & 0 & \cdots \\
0 & 1 \\
0 & 0 & 0 \\
0 & 0 & 0 & 1
\end{bmatrix}

跡

$A A^+$ 的跡與 $A A^+$ 的特徵值的合相同，這並不是巧合。以下設 $M = A A^+$ ， M 與其特徵值 λ 、特徵向量組成的矩陣 X 可以表示為如下的關係：

M = A A^+ \\
M X = X \Lambda = X diag(\lambda_1, ... , \lambda_n) \\
\rightarrow M = X \Lambda X^{-1} \\
\rightarrow tr(A A^+) = tr(M) = tr(X \Lambda X^{-1}) \\
= tr(\Lambda X^{-1} X) = tr(\Lambda) = \sum \lambda_n

因此， $A A^+$ 的跡即為 $X \Lambda X^{-1}$ 的跡，又根據跡的運算法則， $tr(A B C) = tr(B C A) = tr(C A B)$ ，因此將 $X \Lambda X^{-1}$ 順序推移後即可消去式中的 X，只留下 Λ 。而 Λ 的跡即為特徵值的和，因此 $A A^+$ 的跡即為 Λ 的跡即為特徵向量的和。