一元线性回归模型的置信区间与预测
多元线性回归模型的置信区间问题包括参数估计量的置信区间和被解释变量预测值的置信区间两个方面,在数理统计学中属于区间估计问题。所谓区间估计是研究用未知参数的点估计值(从一组样本观测值算得的)作为近似值的精确程度和误差范围,是一个必须回答的重要问题。
一、参数估计量的置信区间
在前面的课程中,我们已经知道,线性回归模型的参数估计量 是随机变量 的函数,即: ,所以它也是随机变量。在多次重复抽样中,每次的样本观测值不可能完全相同,所以得到的点估计值也不可能相同。现在我们用参数估计量的一个点估计值近似代表参数值,那么,二者的接近程度如何?以多大的概率达到该接近程度?这就要构造参数的一个区间,以点估计值为中心的一个区间(称为置信区间),该区间以一定的概率(称为置信水平)包含该参数。即回答 以何种置信水平位于 之中,以及如何求得a。
在变量的显著性检验中已经知道
(2.5.1)
这就是说,如果给定置信水平 ,从t分布表中查得自由度为(n-k-1)的临界值 ,那么t值处在 的概率是 。表示为
即
于是得到:在( )的置信水平下 的置信区间是
i=0,1 (2.5.3)
在某例子中,如果给定 ,查表得
从回归计算中得到
根据(2.5.2)计算得到 的置信区间分别为 和(0.1799,0.2401)
显然,参数 的置信区间要小。
在实际应用中,我们当然希望置信水平越高越好,置信区间越小越好。如何才能缩小置信区间?从(2.5.3)式中不难看出:(1)增大样本容量n。在同样的置信水平下,n越大,从t分布表中查得自由度为(n-k-1)的临界值 越小;同时,增大样本容量,在一般情况下可使估计值的标准差 减小,因为式中分母的增大是肯定的,分子并不一定增大。(2)更主要的是提高模型的拟合度,以减小残差平方和 。设想一种极端情况,如果模型完全拟合样本观测值,残差平方和为0,则置信区间也为0。(3)提高样本观测值的分散度。在一般情况下,样本观测值越分散,标准差越小。置信水平与置信区间是矛盾的。置信水平越高,在其他情况不变时,临界值 越大,置信区间越大。如果要求缩小置信区间,在其他情况不变时,就必须降低对置信水平的要求。
二、预测值的置信区间
1、 点预测
计量经济学模型的一个重要应用是经济预测。对于模型
,
如果给定样本以外的解释变量的观测值 ,有
因 是前述样本点以外的解释变量值,所以 和 是不相关的。引用已有的OLS的估计值,可以得到被解释变量 的点预测值:
(2.5.4)
但是,严格地说,这只是被解释变量的预测值的估计值,而不是预测值。原因在于两方面:一是模型中的参数估计量是不确定的,正如上面所说的;二是随机项的影响。所以,我们得到的仅是预测值的一个估计值,预测值仅以某一个置信水平处于以该估计值为中心的一个区间中。于是,又是一个区间估计问题。
2、 区间预测
如果已经知道实际的预测值 ,那么预测误差为
显然, 是一随机变量,可以证明
而
因为 由原样本的OLS估计值求得,而 与原样本不相关,故有:
,
可以计算出来:
(2.5.5)
(2.5.6)
因 和 均服从正态分布,可利用它们的性质构造统计量,求区间预测值。利用 构造统计量为:
将 用估计值 代入上式,有
这样,可得显著性水平 下 的置信区间为
(2.5.7)
(2.5.7)式称为 的均值区间预测。
同理,利用 构造统计量,有
将 用估计值 代入上式,有:
根据置信区间的原理,得显著性水平 下 的置信区间:
(2.5.8)
上式称为 的个值区间预测,显然,在同样的 下,个值区间要大于均值区间。(2.5.7)和(2.5.8)也可表述为: 的均值或个值落在置信区间内的概率为 , 即为预测区间的置信度。或者说,当给定解释变量值 后,只能得到被解释变量 或其均值 以 的置信水平处于某区间的结论。
经常听到这样的说法,“如果给定解释变量值,根据模型就可以得到被解释变量的预测值为……值”。这种说法是不科学的,也是计量经济学模型无法达到的。如果一定要给出一个具体的预测值,那么它的置信水平则为0;如果一定要回答解释变量以100%的置信水平处在什么区间中,那么这个区间是∞。
在实际应用中,我们当然也希望置信水平越高越好,置信区间越小越好,以增加预测的实用意义。如何才能缩小置信区间?从(2.5.5)和(2.5.6)式中不难看出:(1)增大样本容量n。在同样的置信水平下,n越大,从t分布表中查得自由度为(n-k-1)的临界值 越小;同时,增大样本容量,在一般情况下可使 减小,因为式中分母的增大是肯定的,分子并不一定增大。(2)更主要的是提高模型的拟合优度,以减小残差平方和 。设想一种极端情况,如果模型完全拟合样本观测值,残差平方和为0,则置信区间长度也为0,预测区间就是一点。(3)提高样本观测值的分散度。在一般情况下,样本观测值越分散,作为分母的 的值越大,致使区间缩小。置信水平与置信区间是矛盾的。置信水平越高,在其他情况不变时,临界值 越大,置信区间越大。如果要求缩小置信区间,在其他情况不变时,就必须降低对置信水平的要求。
四、一元线性回归模型参数估计实例
为了帮助读者理解一元线性回归模型参数估计的原理,下面以我国国家财政文教科学卫生事业费支出模型为例,不采用计量经济学应用软件,用手工计算,进行模型的参数估计。
经分析得到,我国国家财政中用于文教科学卫生事业费的支出,主要由国家财政收入决定,二者之间具有线性关系。于是可以建立如下的模型:
其中, 为第t年国家文教科学卫生事业费支出额(亿元), 为第t年国家财政收入额(亿元), ,为随机误差项, 为待估计的参数。选取1991—1997年的数据为样本,利用(2.2.6)和(2.2.7)的计算公式,分别计算参数估计值。
表2.2.1 有关数据表
年份 ED FI
1991 708 3149 -551 -2351 734 -26 -0.037
1992 793 3483 -466 -2017 804 -11 -0.014
1993 958 4349 -301 -1151 1001 -43 -0.045
1994 1278 5218 19 -282 1196 82 0.064
1995 1467 6242 208 742 1424 43 0.029
1996 1704 7408 445 1908 1685 19 0.011
1997 1904 8651 645 3151 1963 -59 -0.031
有关中间计算结果如下:
由电脑计算的参数估计值为
全部统计结果如下表。
从表中可看出,判定系数 0.99,表示以国家财政收入额来解释国家文教科学卫生事业费支出额,在1991至1997年间,拟合度相当理想。截距项 的估计值对应的t-统计量为0.47,不能通过显著性检验,即不能推翻 为0的假设;而一次系数 的估计值对应的t-统计量为20.34,不用查表即可知通过显著性检验,即 显著不为0,因果关系成立。F-统计量的值为413.58,也表示方程系数显著不为0。
表一:Eviews计算结果
Dependent Variable: ED
Method: Least Squares
Date: 09/21/02 Time: 16:22
Sample: 1991 1997
Included observations: 7
Variable Coefficient Std. Error t-Statistic Prob.
C 30.05237 63.90691 0.470252 0.6580
FI 0.223419 0.010986 20.33659 0.0000
R-squared 0.988055 Mean dependent var 1258.857
Adjusted R-squared 0.985666 S.D. dependent var 459.8972
S.E. of regression 55.06160 Akaike info criterion 11.08974
Sum squared resid 15158.90 Schwarz criterion 11.07428
Log likelihood -36.81408 F-statistic 413.5768
Durbin-Watson stat 1.644626 Prob(F-statistic) 0.000005
表二:不含截距项的Eviews计算结果:
Dependent Variable: ED
Method: Least Squares
Date: 09/21/02 Time: 16:19
Sample: 1991 1997
Included observations: 7
Variable Coefficient Std. Error t-Statistic Prob.
FI 0.228304 0.003337 68.40877 0.0000
R-squared 0.987526 Mean dependent var 1258.857
Adjusted R-squared 0.987526 S.D. dependent var 459.8972
S.E. of regression 51.36364 Akaike info criterion 10.84730
Sum squared resid 15829.34 Schwarz criterion 10.83957
Log likelihood -36.96556 Durbin-Watson stat 1.630622
Dependent Variable: LED
Method: Least Squares
Date: 09/21/02 Time: 16:21
Sample: 1991 1997
Included observations: 7
Variable Coefficient Std. Error t-Statistic Prob.
C -1.522329 0.383141 -3.973290 0.0106
LFI 1.005563 0.044764 22.46341 0.0000
R-squared 0.990188 Mean dependent var 7.077084
Adjusted R-squared 0.988226 S.D. dependent var 0.382958
S.E. of regression 0.041554 Akaike info criterion -3.288701
Sum squared resid 0.008634 Schwarz criterion -3.304156
Log likelihood 13.51045 F-statistic 504.6048
Durbin-Watson stat 1.930000 Prob(F-statistic) 0.000003
多元线性回归模型的参数估计实例
例2.3.1 建立中国消费模型。根据消费模型的一般形式,选择消费总额为被解释变量,国内生产总值和前一年的消费总额为解释变量,变量之间关系为简单线性关系,选取1981年至1996年统计数据为样本观测值。样本观测值列于表2.3.1中。
表2.3.1 中国消费数据表
年份 消费总额 国内生产总值 前一年消费额 年份 消费总额 国内生产总值 前一年消费额
1981 3309 4901 2976 1989 10556 16466 9360
1982 3638 5489 3309 1990 11362 1832 10556
1983 4021 6076 3638 1991 13146 21280 11362
1984 4694 7164 4021 1992 15952 25864 13146
1985 5773 8792 4694 1993 20182 34501 15952
1986 6542 10133 5773 1994 27216 47111 20182
1987 7451 11784 6542 1995 34529 59405 27216
1988 9360 14704 7451 1996 40172 68498 34529
以y代表消费总额, 代表国内生产总值, 代表前一年消费总额,应用计量经济分析软件包TSP6.5中普通最小二乘法估计模型,得到下列结果:
(2.3.13)
(6.83) (32.36) (5.70)
式中各项都是评价估计结果优劣的重要标准,后面将逐一介绍。这里仅讨论参数估计值。两个解释变量前的参数估计值分别为0.4809和0.1985,都为正数,且都处于0与1之间,常数项的估计值也为正,这些参数估计值的经济含义是合理的。随机误差项的方差的估计值为33739.5。
新产生序列e ,series e=resid 再在quick---graph 中输入e 即可。
回归产生的残差序列是不能直接用于计算和作图的
EVIEWS得到回归结果EQ,在对话框最后面有一个resids直接点击就可以得到残差分布图了