Mahalanobis距离的物理含义

数学

考虑概率分布$X,E(X)=\mu,cov(X,X)=\Sigma$，定义点$x$到$X$的马氏距离为

$M(x,X) = \sqrt{(x-\mu)^T \Sigma^{-1} (x-\mu)}$

特别的，当$X$的各维度彼此独立，

$\Sigma = \begin{pmatrix} \sigma_1^2 & & & 0 \\ & \sigma_2^2 & & \\ & & \ddots & \\ 0 & & & \sigma_n^2 \end{pmatrix}$

时，

$M(x,X) = \sqrt{\sum_{i=0}^{n}(\frac{x_i - \mu_i}{\sigma_i}})^2$

事实上为按均方差加权的欧式距离

而根据协方差矩阵的性质，总是存在一个正交变换$T$使其对角化：

$x' = Tx, \mu'=T\mu, \Sigma' = (x'-\mu')(x'-\mu')^T = T \Sigma T^{-1}为对角阵$

此时

$M(x,X) = \sqrt{(x-\mu)^T \Sigma^{-1} (x-\mu)} \\ = \sqrt{(x-\mu)^T (T^{-1} \Sigma' T)^{-1} (x-\mu)} \\ = \sqrt{(x-\mu)^T T^{-1} \Sigma'^{-1} T (x-\mu)} \\ = \sqrt{(x'-\mu')^T \Sigma'^{-1} (x'-\mu')}$

如此马氏距离的物理意义就清楚了：在$X$的$n$个独立且正交的主方向上，通过空间缩放变换，归一化均方差，此时$x$距$X$中心的欧式距离，即为Mahalanobis距离