最大似然估计

设总体含有待估参数θ，它可以取很多值，我们要在θ的一切可能取值之中选出一个使样本观测值出现的概率为最大的θ值（记为θ'）作为θ的估计，并称θ'为θ 的极大似然估计。一般，当总体分布类型已知时，极大似然估计（MLE）是一种常用的估计方法。

数学表述

X的概率密度函数为：p(x;θ),其中θ为未知参数，从总体中获得容量为n的样本观测值x1,x2,x3...,xn，则在X1=x1,X2=x2...,Xn=xn时联合密度函数为：

\begin{equation} L(\theta) = \prod_{i=1}^{n} p(x_i,\theta) \end{equation}

称为似然函数，对于不同的θ，同一组样本观察值x1,x2...,xn的联合密度函数值不同，因而我们选择θ的极大似然估计θ'应满足：

\begin{equation} L(\theta‘) = max L(\theta) \end{equation}

当函数关于参数可导时，可通过求导方法获得似然函数极大值对应的参数。为了方便求导，一般会对似然函数取对数，称lnL(θ)为对数似然函数，它与L(θ)在同一点达到最大。通过L(θ)对θ每一分量求偏导并令其为0求得：

\begin{equation} \frac{\partial L(\theta)}{\partial \theta_j} = 0 \quad\quad \text{j=1,2,...,k} \end{equation}

大白话理解： 我们假设事件的发生有一类规律(服从某中分布，比如正态分布)，但是我们不知道这类规律里的参数(比如正态分布的均值和标准差)，只知道规律的类型。那么当我们观察到这类事件发生了，那么我们用含参数的规律计算这件事情的的概率，因为这件事情发生了，一个直观的想法就是这个事情发生的概率很大，那么我们就让这个概率去最大值，然后就能求出这个参数。