热门搜索:  

机器学习之概率与统计(三)- 极大似然估计

     目录

一、参数估计... 2

二、极大释然估计... 2

1.似然函数... 2

2.极大似然估计(MLE... 2

3.log似然函数... 2

4.损失函数... 2

5.求极大似然估计的一般步骤... 2

三、常见分布的参数估计... 3

1.高斯分布... 3

2Bernoulli分布... 3

3二项分布(Binomia... 4

4多项分布(Multinoull... 4

四、机器学习模型的参数估计... 5

1.回归... 5

2.线性回归... 5

2.1线性回归的极大似然估计... 5

3.Logistic回归... 7

3.1 Logistic回归的极大似然估计... 7

4. 朴素贝叶斯(Naive Bayes Classifier, NBC). 9

4.1定义... 9

4.2朴素贝叶斯的极大似然估计... 9

五、估计的评价... 10

1.    估计量的评价标准... 10

2.    偏差-方差分解... 10

3.    监督学习模型的偏差-方差分解... 11

4.    估计的抽样分布... 11

4.1参数Bootstrap. 12

4.2非参数Bootstrap. 12

 

 

一、参数估计

  参数估计,即估计模型的参数:给定模型p(x|Ɵ)和数据D,选择与数据最匹配的参数Ɵ。

  常用估计模型参数的方法:

  (1)矩方法,比如一阶矩,二阶矩,,K阶矩;

  (2)极大释然估计:频率学派

  (3)贝叶斯估计:贝叶斯学派

 

二、极大释然估计

1.似然函数

    似然(likelihood,可能性的意思),描述的是事件发生可能性的大小。

    似然函数的定义:

    设数据D=X1,…,XN为独立同分布(IID),其概率密度函数(pdf)为p(x|Ɵ),则似然函数定义为:

       clip_image001

    即为在给定数据D的情况下,参数为Ɵ的函数。

 

2.极大似然估计(MLE

    定义:使得似然函数L(Ɵ)最大的Ɵ的估计:

        clip_image002

3log似然函数

    定义:

       clip_image003

    即:

       clip_image004

    性质:

(1)  它和似然函数在相同的位置取极大值

(2)  在不引起混淆的情况下,有时记log似然函数为似然函数

(3)  相差常数倍也不影响似然函数取极大值的位置,因此似然函数中的常数项也可以抛弃

(4)  在分类中log似然有时亦称为交叉熵(cross-entropy)

 

4.损失函数

    损失函数 = log似然函数,即:

    损失函数 = - log p( Ɵ|D)

 

5.求极大似然估计的一般步骤

1)选择模型

2)得到密度函数p(x)

3)求似然函数L = Ʃ log.p(x)

4)对似然函数求极值(求导),得到参数估计

 

三、常见分布的参数估计

1.高斯分布

假设X1,…,XN ~ N (μ, δ2 ),参数为μ, δ2,则高斯分布:

   clip_image005

的似然函数为:

   clip_image006

其中,

样本均值:

   clip_image007 

样本方差:   

clip_image008

     因为有:

               clip_image009

      高斯分布的似然函数化简为:

    clip_image010

    求最大值(求梯度,解方程):

       clip_image011

  得到极值点(一阶导数为0):

      clip_image012[4]

     说明,使用样本的均值和方差作为高斯分布的参数估计,是极大似然的。

 

2.Bernoulli分布

Bernoulli分布的密度函数为:

clip_image013

其似然函数为:

     clip_image014

其中,N1为试验结果为1的次数,N2为试验结果为0的次数,

     clip_image015

求极大似然有:

     clip_image016

即样本实验结果为1的比率,是Bernoulli分布的参数Ɵ的极大释然估计。

 

3.二项分布(Binomia

Binomia分布的密度函数为:

clip_image017

    其似然函数为:

       clip_image018

    其极大释然估计和Bernoulli分布一样:

    求极大似然有:

     clip_image016[1]

即样本实验结果为1的比率,是 Binomia分布的参数Ɵ的极大释然估计。

 

4.多项分布(Multinoull

Multinoull分布的密度函数为:

clip_image019

其似然函数为(其中NK表示N次试验中出现k的次数):

   clip_image020

约束条件为:

   clip_image021

采用拉格朗日乘子法求极值:

  clip_image022

分别对λ和θk求偏导并令其等于0:

clip_image023

即为θ的最大释然参数估计。

 

四、机器学习模型的参数估计

1. 回归

(1)  正态分布可用于回归系统噪声建模

(2)  回归是监督学习问题,是输入到输出的映射的学习。

(3)  回归问题的模型:

clip_image024

假设残差服从正态分布:

     clip_image025

    因此,回归问题的模型可以记为:

     clip_image026

    回归即预测其输出:

     clip_image027

2.线性回归

    线性回归:输入与输出呈线性关系。

    相信回归的模型:

       clip_image028

    即:

       clip_image029

    其中W0是截距,W为权重向量,ε为预测值和真值之间的残差。模型的参数为Ɵ =W, δ2

 

2.1 线性回归的极大似然估计

2.1.1 线性回归的似然函数

    线性回归的似然函数为:

       clip_image030

    其中,RSS表示残差平方和(residual sum of squares),即残差向量的L2模:

       clip_image031

    注:平均平方误差(MSE)  = RSS/N

 

2.1.2 log似然函数求参数估计

极大似然等价为极小负log似然损失(negative log likelihood,NLL):

clip_image032

    只取与w有关的项,得到:

       clip_image033

    因为有矩阵求导:

       clip_image034

所以NLL求导有:

        clip_image035

求解得到:

        clip_image036[4]

即为W的极大似然估计,把其代入NLL,则有:

        clip_image037

求导有:

clip_image038

求解得:

    clip_image039

以上便是线性回归参数Ɵ =W, δ2)的极大似然估计。

 

2.1.3 计算机求解线性回归的解极大似然估计

1)当样本数目N较小时,可采用OLS结论,用矩阵QR分解分解得到优化解。

2)当样本数目N较大时,可采用随机梯度下降方法优化求解:

<1> 目标函数:

     clip_image040

<2> 梯度下降法步骤:

i)给定初值w0

ii) 更新w,使得J(W)越来越小

   clip_image041

iii) w的各维同时更新

当前文章:http://f2sfaq28.fanduodian.net/a/e48c7_183.html

发布时间:2017-10-23 15:36:09

我的心没有回程    我的心没有回程  我的心没有回程  我的心没有回程  我的心没有回程  我的心没有回程  我的心没有回程  我的心没有回程  我的心没有回程  

http://www.hnhx.net.cn/8Xf30982g9/201710100977.htmlhttp://www.hnhx.net.cn/9H75j7wB5d/201710100001.htmlhttp://www.hnhx.net.cn/57Sp705pm3/201710100395.htmlhttp://www.hnhx.net.cn/n677167J21/201710100323.htmlhttp://www.hnhx.net.cn/9pb6Z8x13/201710100754.htmlhttp://www.uknet.cn/licai/24070.htmlhttp://www.uknet.cn/jiancai/24082.htmlhttp://www.uknet.cn/licai/24092.htmlhttp://www.uknet.cn/zzqq/2017/1015/24096.htmlhttp://www.uknet.cn/qushi/24136.htmlhttp://www.uknet.cn/licai/24146.htmlhttp://www.uknet.cn/qushi/24158.htmlhttp://www.uknet.cn/licai/24163.htmlhttp://www.uknet.cn/video/guoji/2017/1017/24178.htmlhttp://www.uknet.cn/zzqq/2017/1017/24188.htmlhttp://www.uknet.cn/zzqq/2017/1017/24191.htmlhttp://www.uknet.cn/zzqq/2017/1017/24206.htmlhttp://www.uknet.cn/zzqq/2017/1017/24218.htmlhttp://www.uknet.cn/zzqq/2017/1017/24232.htmlhttp://www.uknet.cn/licai/24233.htmlhttp://www.uknet.cn/qushi/24238.htmlhttp://www.uknet.cn/qushi/24255.htmlhttp://www.uknet.cn/video/guonei/2017/1018/24256.htmlhttp://www.uknet.cn/qushi/24257.htmlhttp://www.uknet.cn/zzqq/2017/1018/24264.htmlhttp://www.uknet.cn/licai/24268.htmlhttp://www.uknet.cn/qushi/24274.htmlhttp://www.uknet.cn/qushi/24279.htmlhttp://www.uknet.cn/licai/24288.htmlhttp://www.uknet.cn/zzqq/2017/1020/24310.htmlhttp://www.uknet.cn/licai/24316.htmlhttp://www.uknet.cn/zzqq/2017/1020/24320.htmlhttp://www.uknet.cn/licai/24319.htmlhttp://www.uknet.cn/qushi/24322.htmlhttp://www.uknet.cn/a/anquanzixun/shoujianquan/2017/1020/24323.htmlhttp://www.uknet.cn/zzqq/2017/1020/24341.htmlhttp://www.uknet.cn/video/guoji/2017/1020/24354.htmlhttp://www.uknet.cn/zzqq/2017/1020/24355.htmlhttp://www.uknet.cn/zzqq/2017/1020/24364.htmlhttp://www.uknet.cn/licai/24371.htmlhttp://www.uknet.cn/a/anquanzixun/shoujianquan/2017/1022/24375.htmlhttp://www.uknet.cn/zzqq/2017/1022/24376.htmlhttp://www.uknet.cn/zzqq/2017/1022/24392.htmlhttp://www.uknet.cn/licai/24421.htmlhttp://www.uknet.cn/qiche/hangqing/24422.htmlhttp://www.uknet.cn/caijing/shouji/2017/1022/24432.htmlhttp://www.uknet.cn/zzqq/2017/1022/24433.htmlhttp://www.uknet.cn/licai/24434.htmlhttp://www.uknet.cn/a/anquanzixun/shoujianquan/2017/1020/24323.htmlhttp://www.uknet.cn/zzqq/2017/1020/24355.html