回歸分析基本方法：最小二乘法.ppt

《回歸分析基本方法：最小二乘法.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《回歸分析基本方法：最小二乘法.ppt（45頁(yè)珍藏版）》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。

假設(shè)檢驗(yàn)的基本思想基于小概率原理的反證法,二、假設(shè)檢驗(yàn)的步驟,1、提出假設(shè)，包括原假設(shè)和備擇假設(shè)2、構(gòu)造相應(yīng)的檢驗(yàn)統(tǒng)計(jì)量，確定其分布形式；根據(jù)樣本數(shù)據(jù)計(jì)算統(tǒng)計(jì)量的值；3、確定顯著性水平?和臨界值；4、作出結(jié)論。（根據(jù)所計(jì)算的統(tǒng)計(jì)量的值與臨界值比較確定是否拒絕原假設(shè)）,原假設(shè)TheNullHypothesis,1.陳述需要檢驗(yàn)的假設(shè)例如:H0:??=452.原假設(shè)用H0表示3.總是包含等號(hào)“=”（比如=,?,?)4.檢驗(yàn)以“假定原假設(shè)為真”開(kāi)始,平均每天上網(wǎng)玩游戲時(shí)間不是5小時(shí)。,如何設(shè)定假設(shè)檢驗(yàn)？,H0:?=5H1:???5,例題1,據(jù)報(bào)導(dǎo)，美國(guó)全職教授年薪的數(shù)學(xué)期望值為68000美元，標(biāo)準(zhǔn)差為5000美元。一個(gè)由36名大學(xué)全職教授組成的樣本表明，平均薪水為72000美元，檢驗(yàn)報(bào)導(dǎo)的可信性。（顯著性水平為0.02）,,H0,,臨界值,臨界值,?/2,,?/2,樣本統(tǒng)計(jì)量,,,,,拒絕域,拒絕域,非拒絕域,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,接受域與拒絕域,抽樣分布,1-?,,置信度,,（1）H0：μ=68000H1；μ≠68000（2）檢驗(yàn)統(tǒng)計(jì)量服從Z分布檢驗(yàn)統(tǒng)計(jì)量:,（3）α=0.02，查正態(tài)分布表得：Z=2.04，接受域?yàn)椋ǎ?.04，2.04）結(jié)論：拒絕假定。,質(zhì)檢員認(rèn)為在整個(gè)工作流程中平均裝盒量符合標(biāo)準(zhǔn)：沒(méi)有超過(guò)368克。隨機(jī)抽取25盒為樣本，均值?X=372.5克，標(biāo)準(zhǔn)差s=15克。試在?=0.05的條件下進(jìn)行檢驗(yàn)。給出你的結(jié)論。,,,368克.,例題2,,,,,,,,,,,,,,,,,,,,,,,,,,,t,0,?,,,拒絕H,0,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,t,0,,,拒絕H,0,,,,?,接受域與拒絕域,H0:?????0H1:??0,,必須顯著低于?才會(huì)拒絕,,小的數(shù)值與H0不矛盾.，因此不會(huì)拒絕H0,,左側(cè)檢驗(yàn),右側(cè)檢驗(yàn),（1）H0：μ≤368H1；μ>368（2）檢驗(yàn)統(tǒng)計(jì)量服從t分布檢驗(yàn)統(tǒng)計(jì)量:,（3）α=0.05，查t分布表得：t=2.064，接受域?yàn)椋ǎ蓿?.064）結(jié)論：接受原假定。,假設(shè)檢驗(yàn)中的兩類(lèi)錯(cuò)誤檢驗(yàn)決策錯(cuò)誤,第一類(lèi)錯(cuò)誤棄真錯(cuò)誤,后果往往較為嚴(yán)重出現(xiàn)第一類(lèi)錯(cuò)誤的概率為?,等于顯著性水平第二類(lèi)錯(cuò)誤存?zhèn)五e(cuò)誤,出現(xiàn)第二類(lèi)錯(cuò)誤的概率為??,,檢驗(yàn)決策結(jié)果,,,,,,,,,,,,,,,,,,,,,實(shí)際情況,,,,,實(shí)際情況,,,,,,,,,,,,,,,,,,,,,,,,,,,H0為真,,,H0為假,,,決策,,H,0,為真,,H,0,為假,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,不拒絕,,正確,錯(cuò)誤,,不拒絕,,,H,0,置信水平1-α,第二類(lèi)錯(cuò)誤?,,,,,,,,,,,,,,,,,,,,,,,,拒絕,,錯(cuò)誤,正確,,拒絕,,H,0,,第一類(lèi)錯(cuò)誤?,檢驗(yàn)?zāi)芰?-?,,,第三章回歸分析的基本方法：最小二乘法,本章重點(diǎn),經(jīng)濟(jì)學(xué)理論模型最小二乘法實(shí)例應(yīng)用,2020/6/8,14,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,,,本章分析思路,建立經(jīng)濟(jì)學(xué)的理論模型運(yùn)用最小二乘法進(jìn)行參數(shù)估計(jì)實(shí)例運(yùn)用,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,15,,,回歸分析,研究步驟：首先，要確定所研究的問(wèn)題（因變量），并根據(jù)經(jīng)濟(jì)理論，找出與該問(wèn)題相關(guān)的、有影響力的經(jīng)濟(jì)因素（自變量），并建立因變量與自變量的關(guān)系式（經(jīng)濟(jì)模型）。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,16,,其次，按照科學(xué)的方法收集相應(yīng)變量的實(shí)際數(shù)據(jù)。最后，對(duì)所研究的問(wèn)題作出結(jié)論。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,17,第一節(jié)理論模型的建立,簡(jiǎn)單回歸模型是指兩個(gè)變量的線性模型，其中一個(gè)是因變量，一個(gè)是自變量。也稱(chēng)為“二元線性方程”。用數(shù)學(xué)公式表示就是：,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,18,,建立x解釋y的模型時(shí)，面臨三個(gè)問(wèn)題：（1）既然兩個(gè)變量之間沒(méi)有一個(gè)確切的關(guān)系，應(yīng)該如何考慮其他影響Y的因素？（2）Y和X的函數(shù)關(guān)系是怎樣的？（3）怎樣知道是否準(zhǔn)確測(cè)定出了y和x之間的關(guān)系（因果性效應(yīng)）？,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,19,20,計(jì)量經(jīng)濟(jì)學(xué)分析的應(yīng)用：y和x：某一個(gè)總體的兩個(gè)變量感興趣：用x來(lái)解釋y，或者說(shuō)是研究y如何隨x而變化如：（Y）大豆的產(chǎn)出與（X）化肥的用量；（Y）工資收入與（X）受教育的年數(shù)；（Y）社區(qū)的犯罪率與（X）警察的數(shù)量。,,,在自己建立經(jīng)濟(jì)模型的過(guò)程中，如何取舍解釋變量，一定要問(wèn)個(gè)為什么。計(jì)量經(jīng)濟(jì)學(xué)家首先就是要擺事實(shí)、講道理，這是作為計(jì)量經(jīng)濟(jì)學(xué)家必備的素質(zhì)。1、消費(fèi)與收入之間的關(guān)系；2、產(chǎn)品的銷(xiāo)量與產(chǎn)品價(jià)格的關(guān)系；3、GDP與投資、經(jīng)濟(jì)運(yùn)行的關(guān)系。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,21,22,一元回歸的術(shù)語(yǔ),自變量(independentvariable)解釋變量(explanatoryvariable)控制變量(controlvariable)預(yù)測(cè)變量(predictorvariable)回歸元(regressor),因變量(dependentvariable)被解釋變量(explainedvariable)響應(yīng)變量(responsevariable)被預(yù)測(cè)變量(predictedvariable)回歸子(regressand),23,一元回歸模型的定義,變量ε：隨機(jī)誤差項(xiàng)或隨機(jī)擾動(dòng)項(xiàng)表示：除X之外其他影響Y的因素,24,隨機(jī)誤差項(xiàng)ε的產(chǎn)生,一、理論的不確定性（現(xiàn)象的內(nèi)在隨機(jī)性）二、模型的簡(jiǎn)化核心變量與非核心變量忽略影響較小的因素三、數(shù)據(jù)測(cè)量、收集的誤差四、模型函數(shù)形式設(shè)定錯(cuò)誤,25,模型表述了Y和X之間的線性關(guān)系。簡(jiǎn)單線性回歸模型（Simplelinearregressionmodel）又稱(chēng)做兩變量或雙變量線性回歸模型(Thetwovariableregressionmodel)β：y和x關(guān)系式中的斜率參數(shù)（slopeparameter）α：截距參數(shù)（interceptparameter）,26,例1大豆產(chǎn)出和施肥量,農(nóng)業(yè)研究者對(duì)（其他因素不變時(shí)）化肥用量如何影響大豆產(chǎn)出量感興趣。隨機(jī)誤差項(xiàng)ε包括了：土壤質(zhì)量、降雨量等因素影響的效果由β給出系數(shù)β度量了在其他條件不變的情況下，施肥量對(duì)產(chǎn)出量的影響：Δyield=βΔfertilizer,假使大豆的產(chǎn)出由以下模型所決定：,27,例2簡(jiǎn)單的工資方程,表示一個(gè)人的工資水平與他的受教育程度及其他非觀測(cè)因素的關(guān)系：,Wage:工資水平Educ:受教育的年數(shù)β:(在其他條件不變的情況下)每增加一年教育所獲得的工資增長(zhǎng)。其他非觀測(cè)因素ε線性性顯示，不管X的初始值為多少，它的任何一單位變化對(duì)Y的影響都是相同的。,28,計(jì)量經(jīng)濟(jì)分析中的因果性效應(yīng)與其他條件不變,其他條件不變：包含在隨機(jī)誤差項(xiàng)中的其他所有相關(guān)因素均保持固定不變。因果性效應(yīng)：其他條件不變情況下，一個(gè)變量對(duì)另一個(gè)變量產(chǎn)生的影響。,第二節(jié)實(shí)際數(shù)據(jù)的收集,當(dāng)我們建立了經(jīng)濟(jì)理論上的關(guān)系式后，接下來(lái)就要從實(shí)際中收集數(shù)據(jù)。Y和X是兩個(gè)變量，我們要收集有關(guān)Y和X的數(shù)據(jù)，就要對(duì)N個(gè)研究對(duì)象進(jìn)行觀察，從而收集到N組數(shù)據(jù)，這每一組數(shù)據(jù)叫做一個(gè)“樣本”，每個(gè)樣本有一個(gè)對(duì)應(yīng)的Y與X的值。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,29,,于是，我們的回歸模型就可以表示為：我們用所得到的數(shù)據(jù)，采用回歸分析的方法來(lái)對(duì)模型中的參數(shù)進(jìn)行估計(jì)。這樣我們就可以得到參數(shù)的估計(jì)值。被普遍采用的方法是“最小二乘法”。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,30,,,第三節(jié)最小二乘法,普通最小二乘估計(jì)量(ordinaryleastsquares)OLS估計(jì)量,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,31,32,（1）OLS殘差的平方和最小。數(shù)學(xué)表述為：,OLS估計(jì)量的代數(shù)性質(zhì),OLS估計(jì)值是以使殘差和為零的參數(shù)估計(jì)值來(lái)選擇的。,即OLS的一階條件,,我們?cè)噲D找到這樣一條直線，它到每一實(shí)際落點(diǎn)的距離的總和為最小。由于實(shí)際落點(diǎn)到直線的距離有正也有負(fù)值，即誤差有正值和負(fù)值，我們用誤差項(xiàng)的平方值來(lái)測(cè)定其絕對(duì)距離。所以我們可以通過(guò)全微分來(lái)求極值。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,33,,我們得出：設(shè)一階導(dǎo)數(shù)為零，可得：,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,34,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,35,然后我們?cè)偾蠖A偏導(dǎo)：由于二階偏導(dǎo)大于零，所以我們確信這種所求的結(jié)果是最小值。這就是最小二乘法。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,36,一元線性回歸模型的假設(shè)條件,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,37,1.X與Y之間的關(guān)系是線性的。2.X是非隨機(jī)的變量，它的值是確定的。3.誤差項(xiàng)的期望為0：E(εi)=0。4.對(duì)于所有觀測(cè)值，誤差項(xiàng)具有相同的方差，即E(ε2)=σ2——同方差假定5.隨機(jī)變量εi之間統(tǒng)計(jì)上是獨(dú)立的，因此對(duì)所有的i≠j，E(εiεj)=0—無(wú)序列相關(guān)假定6.誤差項(xiàng)服從正態(tài)分布。假設(shè)1—5：古典線性回歸模型的定義,第四節(jié)最小二乘法實(shí)用實(shí)例,計(jì)量經(jīng)濟(jì)的回歸分析主要是根據(jù)經(jīng)濟(jì)理論的數(shù)學(xué)模型和實(shí)際的經(jīng)濟(jì)數(shù)據(jù)來(lái)計(jì)算出符合實(shí)際的、可應(yīng)用經(jīng)濟(jì)分析的參數(shù)方程。例如：我們估算某個(gè)地區(qū)的消費(fèi)函數(shù)。根據(jù)經(jīng)濟(jì)理論，人們的消費(fèi)額取決于他們的收入，也就是說(shuō)消費(fèi)與收入有線性關(guān)系，消費(fèi)是因變量，收入是自變量。收入越多消費(fèi)也越多，收入越少消費(fèi)也越少。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,38,,用數(shù)學(xué)模型表示如下：這里，C表示因變量消費(fèi)額，Y表示可支配收入。按照經(jīng)濟(jì)理論，參數(shù)系數(shù)應(yīng)該大于零，或者說(shuō)消費(fèi)額與可支配收入的正相關(guān)的關(guān)系。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,39,,我們把收集到的數(shù)據(jù)做成一個(gè)散點(diǎn)圖。并用回歸方法估計(jì)出來(lái)的回歸結(jié)果如下（表3-2）:C=131.8368+0.8663*Y這個(gè)分析的結(jié)果告訴我們，當(dāng)收入等于零時(shí)，此人應(yīng)該靠借大約132元來(lái)度日；人均的消費(fèi)是收入的86.6％，也就是說(shuō)，平均每掙一百元，應(yīng)該花掉八十六元六角三分錢(qián)。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,40,這樣，我們先從理論上的經(jīng)濟(jì)模型入手，再有采集的實(shí)際經(jīng)濟(jì)數(shù)據(jù)，然后用計(jì)量經(jīng)濟(jì)學(xué)的回歸分析方法估計(jì)出適合于實(shí)際數(shù)據(jù)的數(shù)學(xué)模型。當(dāng)然，我們還要對(duì)這個(gè)估計(jì)出來(lái)的數(shù)學(xué)模型進(jìn)行統(tǒng)計(jì)測(cè)試，檢驗(yàn)其估計(jì)參數(shù)的合理性和有效性。當(dāng)其估計(jì)參數(shù)被測(cè)試為合理并且有效時(shí)，我們就可以說(shuō)我們的經(jīng)濟(jì)理論被實(shí)踐證明是正確的。這樣，我們也就可以用這個(gè)模型來(lái)進(jìn)行經(jīng)濟(jì)預(yù)測(cè)。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,41,,以上的例題，我們用的是一個(gè)橫截面的數(shù)據(jù)來(lái)進(jìn)行回歸分析的，同時(shí)我們也可以用時(shí)間序列數(shù)據(jù)來(lái)進(jìn)行分析，分析的方法和步驟也是一樣的。如我們分析不同年份的消費(fèi)與可支配收入的關(guān)系。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,42,第五節(jié)最小二乘法,在實(shí)際經(jīng)濟(jì)研究過(guò)程中，我們所面對(duì)的理論模型往往有幾個(gè)或者很多自變量。那么，簡(jiǎn)單的模型就不夠用了。下面我們來(lái)簡(jiǎn)單討論一下多變量的通用模型。當(dāng)數(shù)據(jù)中有一個(gè)因變量和K個(gè)自變量時(shí)，那么我們的回歸分析模型就應(yīng)該是：,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,43,,這里，i=1,2,…,n.β是估計(jì)參數(shù)，也就是模型的系數(shù)。E是模型的誤差項(xiàng)。如果我們用矩陣的方式來(lái)表示就是：Y＝Xβ＋e如果我們用實(shí)際數(shù)據(jù)來(lái)估計(jì)一個(gè)線性模型Y＝Xβ＋e，β是這個(gè)模型中的真實(shí)的參數(shù)值。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,44,最佳估計(jì)值,當(dāng)估計(jì)值滿(mǎn)足以下三個(gè)條件的時(shí)候，我們求出的估計(jì)值是最佳的估計(jì)值。（1）“線性的”是指Y＝Xβ＋e這個(gè)線性模型；（2）“無(wú)偏的”是指E(β)=β。（3）“最好的”是指估計(jì)參數(shù)的方差會(huì)是最小的。只有當(dāng)這些條件都滿(mǎn)足了，我們的估計(jì)參數(shù)才是最優(yōu)的。,2020/6/8,中山大學(xué)南方學(xué)院經(jīng)濟(jì)系,45,