淺談如何講授極大似然估計

楊洋

摘 要：極大似然估計是概率論與數(shù)理統(tǒng)計這門課程的重難點，在講解這一知識點時，可以通過啟發(fā)式教學(xué)，理論與實際問題相結(jié)合，循序漸進(jìn)地進(jìn)行講解。

關(guān)鍵詞：似然方程；極大似然估計；參數(shù)估計

極大似然估計是概率論與數(shù)理統(tǒng)計這門課程的重難點，也是求估計時使用最多的參數(shù)估計方法。德國著名數(shù)學(xué)家高斯在1821年最早提出了這一概念，在1922年費希爾再次提出這種想法，并對它的一些性質(zhì)給出證明，這才使極大似然法得到了廣泛的應(yīng)用，對極大似然估計的講解。在教學(xué)中往往存在教師對于這一復(fù)雜的原理難以講解，學(xué)生不易理解的情況，從而無法靈活地運用這一統(tǒng)計方法來解決問題，本文筆者將結(jié)合自己的教學(xué)實踐淺談一些體會。

一、通過生活中實例引出極大似然估計原理

直接講述抽象復(fù)雜的概念，學(xué)生理解起來較為困難，通過日常生活中的實例增強學(xué)生的直觀感知。

例1，老獵人和某位同學(xué)外出打獵，二人同時各開一槍，其中一人打中一只野兔，如果要你推斷是誰打中的呢？

根據(jù)常識判斷老獵人命中的概率一般大于學(xué)生命中的概率，這槍極有可能是老獵人命中的，這個例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想。

例2，設(shè)有外形相同的兩個盒子，甲盒中有99個白球和1個黑球，乙盒中有99個黑球1個白球，今隨機(jī)地抽取一盒，并從中隨機(jī)抽取一球，結(jié)果取得白球，問這個球是從哪個盒子取出？

不管是哪個盒子任取一個球都有兩個可能結(jié)果：白球或者黑球，甲盒取出白球發(fā)生的概率為0.99，乙盒子取出白球發(fā)生的概率為0.01，甲盒取出白球發(fā)生的概率大，從而推斷這球是從甲盒中取出。

由此我們引出極大似然原理：隨機(jī)試驗有若干個可能的結(jié)果A、B、C……，現(xiàn)進(jìn)行一次實驗，結(jié)果A發(fā)生了，則認(rèn)為實驗條件對結(jié)果A出現(xiàn)最有利，即實驗的條件應(yīng)該使得結(jié)果A出現(xiàn)的概率為最大。

我們將這種想法用于參數(shù)估計，設(shè)總體X的分布為F（X；θ），θ∈Θ（θ為未知參數(shù)；Θ為參數(shù)空間）X1，X2，…，Xn為來自總體的樣本，x1，x2，…，xn為一組樣本值，在θ的一切可能取值中選取一個作為θ的估計。根據(jù)極大似然原理要選使得樣本值為x1，x2，…，xn出現(xiàn)概率達(dá)到最大的θ值（記為θ）作為θ的估計。

二、再次結(jié)合實例，給出極大似然估計定義

例3，對某工廠生產(chǎn)的零件進(jìn)行隨機(jī)抽樣，在抽取的20件樣品中，合格品17件，不合格品為3件，試求這批零件的不合格率。

我們用隨機(jī)變量X來表示某個零件是否合格，X=0表示合格品，X=1表示不合格品，則X服從二點分布b（1，p）其中p是未知的不合格品率，在得到的樣本x1，x2，…，x20，這批觀測值發(fā)生的概率為：

P（X1=x1，X2=x2…，X20=x20）= ∏px（1-p）1-x =p3（1-p）17 （1）

P未知，我們要選擇P使得（1）式表示的概率盡可能大，將（1）式看做未知參數(shù)P的函數(shù)，用L（P）表示，當(dāng)P=P時，L（p）=maxL（p），對（1）式兩端取對數(shù)并關(guān)于求導(dǎo)令其為0

—=—-—=0 p=0.15

通過以上鋪墊我們給出下面的定義。

定義：設(shè)總體的概率函數(shù)為p（x；θ）θ∈Θ其中θ是一個未知參數(shù)或幾個未知參數(shù)組成的向量，Θ是參數(shù)θ可能取值的參數(shù)空間，x1，x2，…，xn是來自該總體的樣本，將樣本的聯(lián)合概率函數(shù)看成θ的函數(shù)，L（θ）=L（θ，x1，…，xn）=∏p（x1；θ），L（θ）

稱為樣本的似然函數(shù)。如果某統(tǒng)計量θ=θ（x1，x2，…，xn）滿足L（θ）=

maxθ∈ΘL（θ）則稱θ是θ的極大似然估計，簡記為MLE（Maximum Likelihood Estimate）[1]。

三、常用求極大似然估計的方法與步驟

由定義可知，只要求出似然函數(shù)L（θ）的最大值，那么總體參數(shù)θ的極大似然估計θ的問題便可解決，根據(jù)數(shù)學(xué)分析可知，若似然函數(shù)L（θ）是θ的連續(xù)函數(shù)，且關(guān)于的各分量偏導(dǎo)數(shù)存在，對似然函數(shù)取對數(shù)，因lnL（θ）達(dá)到最大與L（θ）達(dá)到最大等價，所以利用—求得θ[2]。

當(dāng)似然函數(shù)的非零區(qū)域與未知參數(shù)有關(guān)時，通常無法通過解似然方程來獲得參數(shù)的極大似然估計，這時可從定義出發(fā)直接求L（θ）的極大值點。

求極大似然估計的一般步驟歸納如下：

（1）求似然函數(shù)L（θ）。

（2）建立方程組—=0。

（3）解似然方程組得到極大似然估計值θ。

四、極大似然估計的不足

經(jīng)過大量的研究，極大似然估計法相對其他估計法具有相合性、有效性、充分性、完備性等優(yōu)良性質(zhì)，但也有它的不足，如果不知道總體分布而又要估計其均值和方差，這時極大似然法就沒有了用武之地。

在講授極大似然估計時，首先由日常生活的例子出發(fā)，激發(fā)學(xué)生的興趣，對極大似然原理有初步的印象，接著通過生產(chǎn)中的例子使學(xué)生了解如何建立似然方程以及如何求極大似然估計，這樣層層遞進(jìn)，學(xué)生接受起來較容易，有能力利用極大似然估計法解決一些問題，在教學(xué)過程中，應(yīng)該理論與實際問題相結(jié)合，調(diào)動學(xué)生學(xué)習(xí)的積極性，同時也能使我們的教學(xué)變得易懂生動。

參考文獻(xiàn)：

[1]茆詩松，等.概率論與數(shù)理統(tǒng)計教程[M].北京：高等教育出版社，2011.

[2]華東師范大學(xué)數(shù)學(xué)系.數(shù)學(xué)分析[M].北京：高等教育出版社，2004.

（作者單位：吉林師范大學(xué)數(shù)學(xué)學(xué)院）