2.8. 密度估计(Density Estimation)

密度估计在无监督学习、特征工程和数据建模之间徘徊。一些最流行和最有用的密度估计技术是混合模型，如高斯混合(sklearn.mixture.GaussianMixture)，和基于邻居(neighbor-based)的方法，如核密度估计(sklearn.neighbors.KernelDensity)。在聚类这一小节，更充分地讨论了高斯混合方法，因为该技术作为一种无监督的聚类方案也是有用的。

密度估计是一个非常简单的概念，大多数人已经熟悉一种常见的密度估计技术：直方图。

2.8.1. 密度估计：直方图

柱状图是一种简单的数据可视化，其中定义了箱子(bins)，并统计了每个箱子(bins)中的数据点数量。下图左上角的面板中显示了直方图的示例：

然而，直方图的一个主要问题是，分箱(binning)的选择会对结果的可视化产生不成比例的影响。考虑上图的右上角面板。它在相同的数据上显示了箱子(bin)右移后的柱状图。两种可视化的结果看起来完全不同，可能导致对数据的不同解释。

直观地说，我们也可以把直方图看作一堆块，每个点一个块。通过将块堆叠在适当的网格空间中，我们可以恢复直方图。但是，如果我们不是把块堆在一个规则的网格上，而是把每个块放在它所代表的点的中心，然后把每个位置的总高度相加起来会怎么样呢？这个想法导致了左下角的可视化图的现象。它可能没有直方图那么清晰，但数据驱动块位置的事实意味着它是底层数据更好的表示。

这种可视化是核密度估计的一个例子，在本例中是一个顶帽核（top-hat kernel，即每个点上的一个正方形块）。我们可以使用更平滑的核(smoother kernel)来恢复更平滑的分布。右下角的图显示了一个高斯核密度估计(Gaussian kernel density estimate)，其中每个点对总体分布贡献一个高斯曲线(Gaussian curve)。其结果是从数据中导出的平滑密度估计，并作为一个强大的非参数点分布模型发挥作用。

2.8.2. 核密度估计(Kernel Density Estimation)

scikit-learn中的核密度估计是在 sklearn.neighbors.KernelDensity估计器中实现的，该估计器使用Ball树或KD树进行有效查询（有关这些问题的讨论，请参见最近邻）。尽管上面的例子为了简单起见使用了1D数据集，但是核密度估计可以在任维度的数据上执行，尽管实际上维度灾难会导致其在高维度上的性能下降。

在下图中，从双峰分布(bimodal distribution)中提取100个点，并显示三种不同内核的内核密度估计值：

从上图中清楚地展示了内核形状如何影响结果分布的平滑度。scikit-learn核密度估计器使用方法如下：

>>> from sklearn.neighbors import KernelDensity
>>> import numpy as np
>>> X = np.array([[-1, -1], [-2, -1], [-3, -2], [1, 1], [2, 1], [3, 2]])
>>> kde = KernelDensity(kernel='gaussian', bandwidth=0.2).fit(X)
>>> kde.score_samples(X)
array([-0.41075698, -0.41075698, -0.41076071, -0.41075698, -0.41075698,
       -0.41076071])

这里我们使用了 kernel='gaussian'，如上所示。数学上，核是由带宽(bandwidth)参数$h$控制的正函数$K(x;h)$。给定此核形式，在一组点$x_i; i=1\cdots N$中$y$处的密度估计由以下公式给出： $$ \rho_K(y) = \sum_{i=1}^{N} K((y - x_i) / h) $$ 这里的带宽(bandwidth )用作平滑参数，控制结果中偏差(bias)和方差(variance)之间的权衡。大带宽导致非常平滑（即高偏差，high-bias）的密度分布。小带宽导致密度分布不均匀（即高方差，high-variance）。

sklearn.neighbors.KernelDensity实现了几种常见的内核形式，如下图所示：

这些内核的形式如下：

高斯核 (kernel = 'gaussian')

$K(x; h) \propto \exp(- \frac{x^2}{2h^2} )$

顶帽内核 (kernel = 'tophat')

$K(x; h) \propto 1$ $if$ $x < h$

Epanechnikov 内核 (kernel = 'epanechnikov')

$K(x; h) \propto 1 - \frac{x^2}{h^2}$

指数核 (kernel = 'exponential')

$K(x; h) \propto \exp(-x/h)$

线性核 (kernel = 'linear')

$K(x; h) \propto 1 - x/h$ $if$ $x < h$

余弦核 (kernel = 'cosine')

$K(x; h) \propto \cos(\frac{\pi x}{2h})$ $if$ $x < h$

核密度估计器可以与任何有效的距离度量标准一起使用（有关可用度量标准的列表，请参见sklearn.neighbors.DistanceMetric），尽管仅对欧几里德度量标准的结果进行了适当的标准化。一种特别有用的度量标准是Haversine距离，它测量球体上各点之间的角距离。下面示例中，使用了核密度估计来可视化地理空间数据，南美洲大陆上两个不同物种的观测分布如下：

核密度估计的另一个有用的应用是学习数据集的非参数生成模型，以便有效地从该生成模型中绘制新样本。下面是一个使用此过程创建一组新的手写数字的示例，使用在数据的PCA投影上学到的高斯核：

“新”数据由输入数据的线性组合组成，并在给定KDE模型的情况下按概率给出权重。

示例：

简单的一维核密度估计：一维简单核密度估计的计算。
核密度估计: 使用核密度估计学习手写数字数据的生成模型，并从该模型中绘制新样本的示例。
物种分布的核密度估计: 使用Haversine距离度量标准可视化地理空间数据的核密度估计示例