参数点估计

概念

在总体 $X$ 的分布函数 $F(x;\theta )$ 形式已知，但参数 $\theta$ 未知的情况下，我们从总体中抽取样本 $X_1,X_2,\dots ,X_n$，并根据样本值构造一个适当的统计量 $\hat{\theta }(X_1,X_2,\dots ,X_n)$ 来估计未知参数 $\theta$。

• 估计量 (Estimator): 用来估计未知参数 $\theta$ 的统计量，记为 $\hat{\theta }=\hat{\theta }(X_1,X_2,\dots ,X_n)$。它是一个随机变量，因为它是样本的函数。
• 估计值 (Estimate): 根据具体的样本观测值 $x_1,x_2,\dots ,x_n$ 计算出的估计量的值，记为 $\hat{\theta }(x_1,x_2,\dots ,x_n)$。它是一个具体的数值。

方法

矩估计法

矩估计法 (Method of Moments) 的思想是利用样本矩来估计相应的总体矩，即“替换思想”。

核心步骤：

1. 求出总体的 $k$ 阶原点矩 ${\mu }_k=E(X^k)$。通常 ${\mu }_k$ 是未知参数 $\theta$ 的函数。
2. 写出样本的 $k$ 阶原点矩 $A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$。$A_k$ 只与样本有关。
3. 令总体矩等于样本矩，即 ${\mu }_k=A_k$。 $E(X^k)=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$ 这会得到一个或一组关于参数 $\theta$ 的方程。解此方程组，得到的解即为 $\theta$ 的矩估计量。

说明：

• 若只有一个未知参数，通常取 $k=1$，令 $E(X)=\bar{X}$ 即可求解。

• 若有两个未知参数（如 ${\theta }_1,{\theta }_2$），通常联立一阶和二阶矩：

  $$\{\begin{array}{l}E(X)=\bar{X}=\frac{1}{n}{\sum }_{i=1}^n{X}_i\\ E(X^2)=A_2=\frac{1}{n}{\sum }_{i=1}^n{X}_i^2\end{array}$$

  解这个方程组得到 ${\theta }_1,{\theta }_2$ 的矩估计量。

最大似然估计

最大似然估计法 (Maximum Likelihood Estimation, MLE) 的思想是：一个合理的参数估计量应该使得我们从模型中抽取到观测样本的概率最大，即“概率最大原理”。

定义

设总体 $X$ 的样本 $X_1,X_2,\dots ,X_n$ 的联合概率密度（或概率质量函数）为 $L(\theta )=L(x_1,x_2,\dots ,x_n;\theta )$。这个函数被看作是未知参数 $\theta$ 的函数，称为似然函数。

• 离散型总体：设其概率质量函数为 $p(x;\theta )$，则似然函数为： $L(\theta )={\prod }_{i=1}^{n}p(x_i;\theta )$
• 连续型总体：设其概率密度函数为 $f(x;\theta )$，则似然函数为： $L(\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$

使似然函数 $L(\theta )$ 达到最大值的 $\hat{\theta }$ 称为参数 $\theta$ 的最大似然估计量。

步骤

由于 $L(\theta )$ 是连乘形式，且 $\ln x$ 是单调递增函数，最大化 $L(\theta )$ 等价于最大化其对数形式，即对数似然函数 $\ln L(\theta )$。

1. 写出似然函数：根据总体分布写出 $L(\theta )={\prod }_{i=1}^{n}f(x_i;\theta )$ (或 $p(x_i;\theta )$)。
2. 取对数：$\ln L(\theta )={\sum }_{i=1}^n\ln f(x_i;\theta )$。
3. 求最大值：
   • 可导情况：对 $\ln L(\theta )$ 关于各未知参数 ${\theta }_i$ 求偏导，并令其等于 $0$，得到似然方程组： $\frac{\partial \ln L(\theta )}{\partial {\theta }_i}=0,(i=1,2,\dots ,k)$ 解此方程组，得到的解 $\hat{\theta }$ 即为最大似然估计量。
   • 不可导或方程无解情况：根据 $L(\theta )$ 的单调性，在其定义域内直接寻找最大值点。例如，对于 $U(0,\theta )$，似然函数是 $\theta$ 的单调递减函数，其最大值在 $\theta$ 的可行域的边界处取得。

最大似然估计的不变性：若 $\hat{\theta }$ 是 $\theta$ 的最大似然估计量，则 $g(\hat{\theta })$ 是 $g(\theta )$ 的最大似然估计量。

估计量评判标准

无偏性

无偏性 (Unbiasedness) 指的是估计量的数学期望等于参数的真值。

• 若估计量 $\hat{\theta }$ 的数学期望 $E(\hat{\theta })$ 等于未知参数 $\theta$，即 $E(\hat{\theta })=\theta$，则称 $\hat{\theta }$ 为 $\theta$ 的无偏估计量。
• $E(\hat{\theta })-\theta$ 称为 $\hat{\theta }$ 的偏差 (Bias)。
• 若 ${\lim }_{n\to \infty }E(\hat{\theta })=\theta$，则称 $\hat{\theta }$ 为 $\theta$ 的渐进无偏估计量。

常见结论：

• 样本均值 $\bar{X}=\frac{1}{n}\sum X_i$ 是总体均值 $\mu$ 的无偏估计量，因为 $E(\bar{X})=\mu$。
• 样本方差 $S^2=\frac{1}{n-1}\sum (X_i-\bar{X}{)}^2$ 是总体方差 ${\sigma }^2$ 的无偏估计量，因为 $E(S^2)={\sigma }^2$。
• $S_n^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2$ 是 ${\sigma }^2$ 的有偏估计量，因为 $E(S_n^2)=\frac{n-1}{n}{\sigma }^2$。

[问答题]

例题：设 $X_1,X_2,\dots ,X_n$ 是正态总体 $X\sim N(\mu ,{\sigma }^2)$ 的简单随机样本，为使 $D=k{\sum }_{i=1}^{n-1}(X_{i+1}-X_i{)}^2$ 称为总体方差 ${\sigma }^2$ 的无偏估计量，求 $k$

[答案]

解： 为了使 $D$ 成为 ${\sigma }^2$ 的无偏估计量，需要满足 $E[D]={\sigma }^2$。

首先，计算 $E[(X_{i+1}-X_i{)}^2]$。

由于 $X_1,X_2,\dots ,X_n$ 是正态总体 $X\sim N(\mu ,{\sigma }^2)$ 的简单随机样本，这意味着 $X_i$ 和 $X_{i+1}$ 是独立同分布的随机变量，且 $E[X_i]=\mu$, $D[X_i]={\sigma }^2$。

根据方差的定义 $D[X]=E[X^2]-(E[X]{)}^2$，我们可以得到 $E[X^2]=D[X]+(E[X]{)}^2$。

因此，$E[X_i^2]={\sigma }^2+{\mu }^2$ 且 $E[X_{i+1}^2]={\sigma }^2+{\mu }^2$。

由于 $X_i$ 和 $X_{i+1}$ 相互独立，它们的乘积的期望等于期望的乘积：

$E[X_i{X}_{i+1}]=E[X_i]E[X_{i+1}]=\mu \cdot \mu ={\mu }^2$。

现在，计算 $E[(X_{i+1}-X_i{)}^2]$：

$E[(X_{i+1}-X_i{)}^2]=E[X_{i+1}^2-2X_i{X}_{i+1}+X_i^2]$

根据期望的线性性质：

$=E[X_{i+1}^2]-2E[X_i{X}_{i+1}]+E[X_i^2]$

代入前面推导出的结果：

$=({\sigma }^2+{\mu }^2)-2{\mu }^2+({\sigma }^2+{\mu }^2)$

$=2{\sigma }^2+2{\mu }^2-2{\mu }^2$

$=2{\sigma }^2$。

接下来，计算 $E[D]$：

$E[D]=E\left[k{\sum }_{i=1}^{n-1}(X_{i+1}-X_i{)}^2\right]$

根据期望的线性性质，常数 $k$ 可以提出，求和符号也可以和期望互换：

$=k{\sum }_{i=1}^{n-1}E[(X_{i+1}-X_i{)}^2]$

代入 $E[(X_{i+1}-X_i{)}^2]=2{\sigma }^2$：

$=k{\sum }_{i=1}^{n-1}(2{\sigma }^2)$

求和项共有 $(n-1)$ 个 $2{\sigma }^2$：

$=k\cdot (n-1)\cdot (2{\sigma }^2)$

$=2k(n-1){\sigma }^2$。

为了使 $D$ 是 ${\sigma }^2$ 的无偏估计量，我们必须有 $E[D]={\sigma }^2$：

$2k(n-1){\sigma }^2={\sigma }^2$

假设总体方差 ${\sigma }^2\ne 0$，我们可以两边同时除以 ${\sigma }^2$：

$2k(n-1)=1$

解出 $k$：

$k=\frac{1}{2(n-1)}$。

有效性

有效性 (Efficiency) 比较的是不同无偏估计量的优劣，方差越小越有效。

• 设 ${\hat{\theta }}_1$ 和 ${\hat{\theta }}_2$ 都是参数 $\theta$ 的无偏估计量。如果 $D({\hat{\theta }}_1)<D({\hat{\theta }}_2)$，则称 ${\hat{\theta }}_1$ 比 ${\hat{\theta }}_2$ 更有效。
• 最小方差无偏估计量 (MVUE)：对 $\theta$ 的所有无偏估计量中，方差最小的一个。

一致性

一致性 (Consistency) 或 相合性，指的是当样本容量 $n$ 无限增大时，估计量依概率收敛于参数真值。

• 对于任意小的正数 $ϵ$，若估计量 ${\hat{\theta }}_n$ 满足： ${\lim }_{n\to \infty }P(|{\hat{\theta }}_n-\theta |<ϵ)=1$ 则称 ${\hat{\theta }}_n$ 是 $\theta$ 的一致估计量或相合估计量。

判定准则：

• 若估计量 ${\hat{\theta }}_n$ 满足：
  1. 是渐进无偏的：${\lim }_{n\to \infty }E({\hat{\theta }}_n)=\theta$
  2. 方差趋于零：${\lim }_{n\to \infty }D({\hat{\theta }}_n)=0$
• 则 ${\hat{\theta }}_n$ 是 $\theta$ 的一致估计量。这是由切比雪夫不等式保证的。
• 矩估计量和最大似然估计量通常都具有一致性。