D7-1參數(shù)的概念與點(diǎn)估計(jì)

第七,章,參數(shù)估計(jì)概率,矩估計(jì),估計(jì)量評(píng)選的標(biāo)準(zhǔn),參數(shù)估計(jì),區(qū)間估計(jì),第七章,第七章,上一章，我們講了數(shù)理統(tǒng)計(jì)的基本概念，從這一章開始，我們研究數(shù)理統(tǒng)計(jì)的重要內(nèi)容之一即統(tǒng)計(jì)推斷。,所謂統(tǒng)計(jì)推斷，就是根據(jù)從總體中抽取得的一個(gè)簡(jiǎn)單隨機(jī)樣本對(duì)總體進(jìn)行分析和推斷。即由樣本來推斷總體，或者由部分推斷總體。這就是數(shù)理統(tǒng)計(jì)學(xué)的核心內(nèi)容。,它的基本問題包括兩大類問題，一類是估計(jì)理論；另一類是假設(shè)檢驗(yàn)。而估計(jì)理論又分為參數(shù)估計(jì)與非參數(shù)估計(jì)，參數(shù)估計(jì)又分為點(diǎn)估計(jì)和區(qū)間估計(jì)兩種，這里我們主要研究參數(shù)估計(jì)這一部分?jǐn)?shù)理統(tǒng)計(jì)的內(nèi)容。,第一節(jié),參數(shù)估計(jì)的概念,第七章,統(tǒng)計(jì)推斷的目的，是由樣本推斷出總體的具體分布,.,一般來說，要想得到總體的精確分布是十分困難的,.,在上一章里，介紹了經(jīng)驗(yàn)分布可以作為總體的一個(gè)近似解，但是只有樣本容量,n,無限大時(shí)經(jīng)驗(yàn)分布故以概率一致收斂于總體的分布函數(shù),.,而在實(shí)際問題中樣本容量,n,不,允許很大,.,我們已經(jīng)學(xué)習(xí)了中心極限定理，可以斷定在某些條件下的分布為正態(tài)分布；也可以根據(jù)樣本觀測(cè)值先對(duì)總體分布類型作出檢驗(yàn)和判斷,（下一章介紹），這種方法可以得到總體的分布類型，其中有一個(gè)或幾個(gè)參數(shù),.,另外，有些統(tǒng)計(jì)推斷問題，我們不關(guān)心其分布類型，只關(guān)心其某些數(shù)學(xué)特征，如期望、方差等，通常把這些數(shù)學(xué)特征了稱為參數(shù),.,這時(shí)抽樣的目的就是為了解出這些參數(shù),.,參數(shù),.,估計(jì)參數(shù),.,例,1,：,設(shè)某總體,，,試由樣本,來估計(jì),例,2,：,設(shè)某總體,，,試由樣本,來,上述二例中，,記為,.,如,:,例,1,中的,而,例,2,中的,定義,:,中提取有關(guān)總體的信息，,出統(tǒng)計(jì)量的觀測(cè)值,，,相應(yīng)待估參數(shù)的值,.,稱為參數(shù)的估計(jì)量,估計(jì)值,.,圍，,把參數(shù)的取值范圍稱為參數(shù)空間，,可以確定出參數(shù)的取值范,數(shù)的性質(zhì)和實(shí)際問題，,是指從樣本,所謂,參數(shù)估計(jì),，,，,統(tǒng)計(jì)量,求,然后用樣本值代入，,用該值來作為,且把統(tǒng)計(jì)量,稱為參數(shù),的,把,但根據(jù)參,參數(shù)的取值雖未知，,即構(gòu)造樣本的函數(shù),參數(shù)估計(jì)分為點(diǎn)估計(jì)和區(qū)間估計(jì)兩從大類,.,點(diǎn)估計(jì),:,區(qū)間估計(jì)：,根據(jù),樣本,及樣本值,構(gòu)造一統(tǒng),計(jì)量,，,計(jì)值,稱點(diǎn)估計(jì),.,.,內(nèi),構(gòu)造,兩個(gè)統(tǒng)計(jì)量：,使得待估參數(shù)以已知的較大的概率落在,指對(duì)總體中的一維參數(shù) ，,為的區(qū)間估計(jì),.,此時(shí)稱,指對(duì)總體分布中的參數(shù),，,作為,的估,將,為,的點(diǎn)估計(jì)量,則稱,簡(jiǎn),記為,第七章,第二節(jié),點(diǎn),估計(jì)量的求法,二、極大似然估計(jì),一、矩估計(jì),一、矩估計(jì)法：,（,K.Pearson,提出）,矩估計(jì)法是一種古老的估計(jì)方法,.,大家知道，矩是描寫隨機(jī)變量的最簡(jiǎn)單的數(shù)字特征,.,樣本來自于總體，從前面可以看到樣本矩在一定程度上也反映了總體矩的特征，因而自然想到用樣本矩作為總體矩的估計(jì),.,的估計(jì)量,定義,1:,是其一個(gè)樣本,得一個(gè)包含,個(gè),未知數(shù),的方程組,的一組解,中解出,用這個(gè)方程組的解,分別作為,該方法稱為,矩估計(jì)法,.,的觀察值稱為矩估計(jì)值,.,的情形）,令,從,矩估計(jì),量,這種估計(jì)量稱為矩估計(jì)量，,（一般我們只需掌握,為總體,的待估參數(shù)，,假設(shè),例,1,:,又設(shè),是來自總體,的一個(gè)樣本，,的矩估計(jì)量,.,解,:,所以得,因?yàn)?而,試求,令,的均值及方差,都存在但均未知，,設(shè)總體,注：上述結(jié)果表明,總體均值與方差的矩估計(jì)量的表達(dá)式不會(huì)因總體的分布不同而異；同時(shí)，我們又注意到，,總體均值,是用,樣本均值,來估計(jì)的，而,總體方差,（即總體的二階中心矩）卻不是用樣本方差來估計(jì)的，而是用,樣本二階中心矩,來估計(jì),.,那么，能否用,樣本方差,來估計(jì),總體方差,呢？能的話，樣本二階中心矩與樣本方差哪個(gè)更好？下節(jié)課將再作詳細(xì)討論,.,這樣看來，雖然矩估計(jì)法計(jì)算簡(jiǎn)單，不管總體服從什么分布，都能求出總體矩的估計(jì)量，但它仍然存在著一定的缺陷：對(duì)于一個(gè)參數(shù)，可能會(huì)有多種估計(jì)量,.,比如下面的例子：,求,的一個(gè)樣本,解,:,，,例,2,：,未知,是,的矩估計(jì)量,.,由以上可看出，這里的一個(gè)待估參數(shù)有兩個(gè)不同的矩估計(jì)量,.,這樣，就會(huì)給應(yīng)用帶來不便，為此，,R.A.Fisher,提出了以下的改進(jìn)的方法：,，,設(shè),二、極大似然估計(jì)法,：,1,、似然函數(shù),為樣本的似然函數(shù)，,即,密度函數(shù),:,定義,2,：,設(shè)總體,的分布密度函數(shù)為,，,其中,（）,，,為待估參數(shù),，（）,我們稱之為,對(duì)數(shù)自然函數(shù),.,上式兩邊取自然對(duì)數(shù),得,是來自總體的一個(gè)樣本，,則稱樣本的聯(lián)合分布的,，,記為,、極大似然估計(jì)法,這種方法的基本思想是利用“,概率最大的事件最可能出現(xiàn),”，即我們認(rèn)為所抽取的樣本是出現(xiàn)的概率最大的樣本,.,樣本也是隨機(jī)變量，其出現(xiàn)的概率是與其密度函數(shù)有關(guān)的，要使樣本出現(xiàn)的概率最大，只有密度函數(shù)在樣本取這一樣本值時(shí)取最大值,.,這里樣本的分布類型已知，所以概率只與待估參數(shù)有關(guān),.,極大似然估計(jì)就是利用：,樣本的密度函數(shù)（樣本的似然函數(shù)）在樣本取這一樣本值時(shí)取最大值,來估計(jì)參數(shù),.,即把問題轉(zhuǎn)化為求似然函數(shù)的最大值時(shí)待估參數(shù)的取值,.,(1),定義,:,的極大似然估計(jì),.,則稱,為,(2),具體做法與步驟,:,及樣本的對(duì)數(shù)似然函數(shù),當(dāng)作自變量，,求最大值點(diǎn),.,對(duì),求導(dǎo),上式稱為似然方程,就是,的極大似然估計(jì),.,把待估參數(shù),利用高等數(shù)學(xué)里的知識(shí)，,滿足條件：,若統(tǒng)計(jì)量,，,寫出樣本的似然函數(shù),得：,對(duì)數(shù)似然函數(shù)當(dāng)作目標(biāo)函數(shù)，,即：,則其解,若其有解，,例3：,未知，,為,的一個(gè)樣本,.,的一個(gè)樣本值，,是,解：,所以似然函數(shù)為：,取對(duì)數(shù)：,分別對(duì),求導(dǎo)數(shù)：,，,設(shè),的極大似然估計(jì)量及相應(yīng)的估計(jì)值,.,求,由(1),，,的極大似然估計(jì)量分別為：,，,的極大似然估計(jì)值分別為：,；,代入,(2),則似然函數(shù)為：,通過分析可知，用解似然方程極大值的方法,例,4,:,未知，,解：,，,以可用直接觀察法：,求極大似然估計(jì)很難求解（因?yàn)闊o極值點(diǎn)），所,由于,的極大似然估計(jì),.,求,，,設(shè),的一樣本，,為來自總體,設(shè),有,則對(duì)于滿足條件：,的任意,有,即,在,時(shí)取得最大值：,故,的極大似然估計(jì)量為：,記,，,.,