1、似然估计（likelihood estimate）:是指可能性估计。
1.1 在传统概率学派中假定的是:概率分布的参数固定，样本随机。
1.2 待解决问题：我们如何通过样本去确定 这个概率分布的参数呐？
1.3 解决方法：似然估计：样本出现后（Xi已知），反推模型参数值，而该参数值有很多种可能性。我们就需要通过似然估计算法来的到使样本发生可能性最大的参数。
2、最大（极大）似然估计（maximum likelihood estimate )，简称（MLE）：最有可能的情况。（也就是找出与样本分布最接近的概率分布模型）
2.1 最大似然估计是需要你寻找确定的参数，使得联合密度最大。
即：给定了一个参数待定的模型（该模型符合伯努利分布（b(1,p)），和一组从该模型中得出的数据。
你需要确定这个参数p，并使该确定参数p后的模型 在所有模型中产生已知数据的联合概率最大L（p）。
2.2 例如：现在有一个密封黑色袋子，里面装有不知道个数的黑白两色球，且不知道黑白球的比例。现在需要你确定黑球与白球的比例？并且你也不可能全部都拿出来数一下，数量太多，会耽误时间。
通常遇到这样的情况，我们就会把袋子里的球摇匀，然后随机去任意抽取一只球出来，有放回的实验。假如你进行试验进行了100次，其中你抽到白球70次。那么袋中白球所占的比例最有可能是多少呢？
2.3 由于是独立同分布的，通常我们会计算出：p=70/100=0.7。
其实这样的计算就是最大似然估计的算法了。也就是P=n/N。(n为次数，N为样本空间)
3、推导：
设总体分布为f(x,θ)，x1,x2,x3,x4……,xn为该总体样本采样得到的样本。因为x1,x2,x3,x4……,xn独立同分布，于是他们的联合密度函数为：
注：
θ：固定但未知的参数（我们需要求解的参数，它能使似然函数取得最大值时的值）
x1,x2,x3,x4……,xn是样本是固定的。
L（x,θ）：关于θ的函数，似然函数。
4、求解步骤：
4.1 写出似然函数
L（x,θ）
4.2 对似然函数取对数（若计算简单的就不必取对数了）
logL(θ1, θ2,…θk)=∑_(i=1)^n▒〖f(x_(i;) θ1,θ2,…θk)〗
4.3 求似然函数对未知参数的导函数
(∂L(θ))/(∂θ_i )
4.4 令导函数为0（驻点，极大值），方程解即为最大似然解
(∂L(θ))/(∂θ_i )=0
5、其他：
最小二乘法是最大似然估计的一种高斯分布的特殊情况。两者的解析解相同。
6、个人认为：
不要把最大似然估计想复杂了。以上的推导只是证明，我们的算法是没有错的。只需要记符合最大似然的条件，它的结果就是P=n/N，会用就行。