用最小二乘法求一元线性回归的基本思想

[党员思想汇报的基本写法]1．思想汇报的基本写法要求入党的同志为了使党组织更好地了解自己，接受党组织的教育和监督，要积极主动地向党组织汇报自己的思想、学习和工作情况。这是培养自己的组织观念、提...+阅读

用最小二乘法求一元线性回归的基本思想

最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

在我们研究两个变量（x,y）之间的相互关系时，通常可以得到一系列成对的数据（x1,y1.x2,y2... xm,ym）；将这些数据描绘在x -y直角坐标系中，若发现这些点在一条直线附近，可以令这条直线方程如（式1-1）。

Yj= a0 + a1 X （式1-1）

其中：a0、a1 是任意实数

为建立这直线方程就要确定a0和a1，应用《最小二乘法原理》，将实测值Yi与利用（式1-1）计算值（Yj=a0+a1X）的离差（Yi-Yj）的平方和〔∑（Yi - Yj）2〕最小为“优化判据”。

令：φ = ∑（Yi - Yj）2 （式1-2）

把（式1-1）代入（式1-2）中得：

φ = ∑（Yi - a0 - a1Xi）2 （式1-3）

当∑（Yi-Yj）平方最小时，可用函数 φ 对a0、a1求偏导数，令这两个偏导数等于零。

（式1-4）

（式1-5）

亦即：

m a0 + （∑Xi ） a1 = ∑Yi （式1-6）

（∑Xi ） a0 + （∑Xi2 ） a1 = ∑（Xi,Yi）（式1-7）

得到的两个关于a0、 a1为未知数的两个方程组，解这两个方程组得出：

a0 = （∑Yi） / m - a1（∑Xi） / m （式1-8）

a1 = [m∑Xi Yi - （∑Xi ∑Yi）] / [m∑Xi2 - （∑Xi）2 ）] （式1-9）

这时把a0、a1代入（式1-1）中，此时的（式1-1）就是我们回归的元线性方程即：数学模型。

在回归过程中，回归的关联式是不可能全部通过每个回归数据点（x1,y1. x2,y2...xm,ym），为了判断关联式的好坏，可借助相关系数“R”，统计量“F”，剩余标准偏差“S”进行判断；“R”越趋近于 1 越好；“F”的绝对值越大越好；“S”越趋近于 0 越好。

R = [∑XiYi - m （∑Xi / m）（∑Yi / m）]/ SQR{[∑Xi2 - m （∑Xi / m）2][∑Yi2 - m （∑Yi / m）2]} （式1-10） *

在（式1-1）中，m为样本容量，即实验次数；Xi、Yi分别任意一组实验X、Y的数值。[1]

最小二乘法公式

注：以下“平”是指某参数的算数平均值。如：X平——x的算术平均值。

1、∑（X--X平）（Y--Y平）=

∑（XY--X平Y--XY平+X平Y平）=

∑XY--X平∑Y--Y平∑X+nX平Y平=

∑XY--nX平Y平--nX平Y平+nX平Y平=∑XY--nX平Y平；

2、∑（X --X平）^2=

∑（X^2--2XX平+X平^2）=

∑X^2--2nX平^2+nX平^2=∑X^2--nX平^2;

3、Y=kX+b

k=((XY)平--X平*Y平）/（（X^2）平--（X平）^2),

b=Y平--kX平；

X平=1/n∑Xi,

(XY)平=1/n∑XiYi;

这是百科的。建议你再找找计量经济学的教程╭（╯^╰）╮

最小二乘法回归分析法灰色预测法决策论神经网络等5个算法

最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。优点：实现简单，计算简单。缺点：不能拟合非线性数据.回归分析法：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。优点：在分析多因素模型时，更加简单和方便，不仅可以预测并求出函数，还可以自己对结果进行残差的检验，检验模型的精度。

缺点：回归方程式只是一种推测，这影响了因子的多样性和某些因子的不可测性，使得回归分析在某些情况下受到限制。灰色预测法：色预测法是一种对含有不确定因素的系统进行预测的方法。它通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。它用等时间距离观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或者达到某一特征量的时间。优点：对于不确定因素的复e68a84e8a2ad3231313335323631343130323136353331333431346362杂系统预测效果较好，且所需样本数据较小。缺点：基于指数率的预测没有考虑系统的随机性，中长期预测精度较差。

决策树：在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。优点：能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的分析；计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本。缺点：忽略了数据之间的相关性；容易发生过拟合（随机森林可以很大程度上减少过拟合）；在决策树当中，对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征。

神经网络：优点：分类的准确度高；并行分布处理能力强，分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长，甚至可能达不到学习的目的。