当前位置 > 第八章 相关分析和回归分析 > 第三节 回归分析与一元线性回归
第三节 回归分析与一元线性回归
一、回归分析的概念及与相关分析的区别和联系
(一)回归分析的概念
相关关系说明现象间有关系,但它不能说明一个现象发生一定量的变化时,另一个变量将会发生多大的变化。也就是说,它不能说明两个变量之间的一般关系值。
回归分析是指对具有相关关系的现象,根据其关系形态,选择一个合适的数学模型(称为回归方程式),用来近似的表示变量间平均变化关系的一种统计分析方法。它实际上是相关现象间不确定、不规则的数量关系一般化、规则化。采用的方法是配合直线或曲线,用这条直线或曲线来代表现象之间的一般数量关系。这条直线或曲线叫回归直线或回归曲线,他们的方程式叫直线回归方程或曲线回归方程。
(二)回归分析与相关分析的区别与联系
1.回归分析与相关分析的区别
(1)相关分析所研究的两个变量是对等关系,回归分析所研究的两个变量不是对等关系,必须根据研究目的,先确定其中一个是自变量,另一个是因变量。
(2)对两个变量x和y来说,相关分析只能计算出一个反映两个变量间相关密切程度的相关系数,计算中改变x和y的地位不影响相关系数的数值;回归分析有时可以根据研究目的的不同分别建立两个不同的回归方程。以x为自变量,y为因变量,可以得出y对x的回归方程。以y为自变量,x为因变量,可以得出x对y的回归方程。
(3)相关分析对资料的要求是,两个变量都必须是随机变量,而回归分析对资料的要求是,自变量是可以控制的变量(给定的变量),因变量是随机变量。
2.回归分析与相关分析的联系
(1)相关分析是回归分析的基础和前提。如果缺少相关关系,没有从定性上说明现象间是否具有相关关系,没有对相关关系的密切程度作出判断,就不能进行回归分析,即便勉强的进行了回归分析,也是没有实际意义的。
(2)回归分析是相关分析的深入和继续。仅仅说明现象间具有密切的相关关系是不够的,只有进行了回归分析,拟合了回归方程,才可能进行有关分析的回归预测,相关分析才有实际意义。因此,如果只有回归分析而缺少相关分析,将会因为缺乏必要的基础和前提而影响回归分析的可靠性;如果只有相关分析而缺少回归分析,就会降低相关分析的意义。只有把两者结合起来,才能达到统计分析的目的。
二、一元线性回归模型
(一)一元线性回归模型的概念。通过相关系数,只能了解因变量和自变量相关关系的密切程度和方向,但是不能用来根据自变量的变动推知因变量的变动。为了根据某一因素的数值来估计另一因素的数值,根据已知推求未知,就需要进行回归分析。
一元线性回归模型又称简单直线回归模型,它是根据成对的两种变量的数据,配合直线方程式,根据自变量的变动,来推算因变量的发展趋势和水平的方法。它是研究相互关联的两种经济现象数量变动依存关系的一种方法。
当两种变量互为因果关系时,可以用两条直线方程表示,一为Y对X的回归直线方程式(Y=+
X),Y为因变量,X为自变量。
为Y的理论值,用来由X推算Y。另一为X对Y的回归直线方程式(
),Y为自变量,X为因变量,
为X的理论值,用来由Y推算X。在两种回归方程中,只是X和Y的位置互换罢了,实际上其计算方法是一致的。在两种变量只有但方面的因果关系时,只能用一个回归方程式表示,一般是Y对X的回归直线方程式。起模型为:
式中,表示直线在
轴上的截距。代表经济现象经过修匀的基础水平;
表示直线的斜率,称为y对x的回归系数,表明
每变动一个单位时,影响y平均变动的数量;
和
表示确定回归直线模型的两个待定参数。
(二)配合最佳的回归直线模型的条件。任何一个数学模型的运用都是有条件的,一元线性回归模型也不例外。为使配合的直线模型最佳,应当遵循下列条件:
1.两个变量之间确实群在显著的相关关系。要通过实践经验、理论分析、相关图和相关表验证,两种变量之间确实具有显著的相关关系时,才能配合回归模型。如果两种变量之间没有相关关系或相关程度不显著,所配合的回归模型就无法表明两种变量之间的依存关系,而成为数字游戏。
2.两种变量之间确实存在着直线相关关系。当将两种变量的成对数值绘成散点图时,只有图上各点的散布趋势近似直线,才能配合简单回归直线模型。
3.根据最小平方法(最小二乘法)原理配合一元线性回归模型。应用最小平方法原理确定两个待定参数和
的数值,配合直线模型,可以使实际值与理论离差的代数和等于零,即
;使离差的平方和为最小,即
。因而最具有代表性,是最佳的回归直线模型。
三、参数的最小二乘估计
总体的回归参数、
,需要利用变量
和
的样本数据进行估计,估计时通常采用的方法是最小二乘法,也称最小平方法。利用这种方法得到的估计值
和
称为
和
的最小二乘估计值,得到的一元线形回归方程为:
最小二乘法的基本思路是:利用样本数据拟和样本回归方程时,遵循这样一个原则,即从整体上看,的估计值和实际观察值yi应尽可能接近,也就是说,残差的总量越小越好。由于残差有正有负,简单求和会相互抵消,为避免正负偏差抵消,通常采用残差平方和作为作为衡量总偏差的尺度,使其达到最小,即: