轻松玩转 Scikit-Learn 系列 —— 线性回归及 ML 相关评价标准

来自:小詹学Python(微信号:xiaoxiaozhantongxue),作者:蜉蝣扶幽

线性回归可能是机器学习中最简单、最基础的算法了。但一定不要因为它简单就轻视它的存在,因为它也是很多更高级机器学习算法的基础,比如多项式回归、岭回归、 LASSO 回归等。线性回归的核心归结为求解正规方程(由样本特征x所得预测值y'和实际值y差的平方和,对x求偏导并使其为0所得的方程组),也就是利用最小二乘法求解方程系数。当x为一个n维向量时,方程的物理意义也被扩展为求解一个n维超平面前的系数。在介绍线性回归之前,让我们先了解下衡量线性回归预测结果好坏的指标。

1、相关评价标准

1)均方误差 MSE (Mean Squared Error) :

2)均方根误差 RMSE (Root Mean Squared Error) :

3)平均绝对误差 MAE (Mean Absolute Error) :

4)R方误差 ( R Squared ) :

应根据不同的应用场景和需求来选择不同的评价指标,没有其中一个平白无故的比另一个更好。具体来说,RMSE就是MSE的平方根,但它的量纲与要预测的y值的量纲相同,更有意义,MAE 因为带有绝对值而不方便求导,而 R Squared 因为无量化而更具有通用的比较性。我们可以通过向量化计算在 Python 中很容易的实现这4中指标的计算。同时,你也可以直接在 scikit-learn 中的 metrics 中直接调用 mean_squared_error,mean_absolute_error,r2_score 方法直接计算得到 MSE、MAE、R Squared。

2、线性回归

1)小引—— kNN 回归

首先我们先回顾下上次的 kNN ,其实 kNN 不仅可以用于分类,还可以用来解决回归问题。以此来引入回归问题的鼻祖——线性回归。


Talk is cheap, let's see the code!



结果如下:

MAE: 3.651057, MSE: 25.966010, R2 Accuracy: 0.464484
0.602674505081

准确率并不是太高呢!比我抛硬币好不了多少,是不是因为我们使用的是 kNN 回归默认的模型,而没有调整任何超参数的原因的。那我们接下来先介绍下 kNN 回归的各个超参数,再用网格搜索的方式搜索 kNN 回归的最佳超参数。

  • n_neighbors——即 k 值,默认n_neighbors=5;weights:表示是否为距离加权重,默认 weights=’uniform’;

  • algorithm——用于计算距离的算法,默认algorithm=’auto’,即根据 fit 方法传入值选择合适算法;

  • p——明可夫斯基距离的指数,默认p=2(欧氏距离),p=1 为曼哈顿距离;

  • n_jobs——调用CPU的核心数,默认 n_jobs=None;


上次我们学习kNN分类器的时候,用到了2层 for 循环搜索最佳超参数,这次我们直接调用 scikit-learn 中的方法搜索 kNN 回归的最佳超参数。实现如下:



结果如下:

{'n_neighbors': 6, 'p': 1, 'weights': 'distance'}
0.735424490609


好像准确度还不是很高呢!?是不是 kNN 这个算法太简单,已经落伍了呢?


其实,我们在选择一种机器学习方法的时候是受领域限制的,不同的领域,不同种类的数据可能就适合不同的机器学习方法,没有一种机器学习方法面对各种问题而无往不利,总是得到最佳结果(暂且不谈深度学习),而且模型准确率的高低还受到数据质量的影响。那么我接下来看看线性回归在波斯顿房价数据集上表现怎样。


2)Linear Regression


结果为 0.800891619952 。

80% 好像还不错,毕竟是默认模型嘛。让我们看下线性回归都有哪些超参数呢!

  • fit_intercept——默认 fit_intercept=True,决定是否计算模型截距;

  • normalize——默认 normalize=False,如果fit_intercept=True,X 会在被减去均值并除以 L2 正则项之前正则化;

  • n_jobs——计算时所使用的CPU核心数;

结果为:

array([ -1.14235739e-01,   3.12783163e-02,  -4.30926281e-02,
       -9.16425531e-02,  -1.09940036e+01,   3.49155727e+00,
       -1.40778005e-02,  -1.06270960e+00,   2.45307516e-01,
       -1.23179738e-02,  -8.80618320e-01,   8.43243544e-03,
       -3.99667727e-01])

线性回归的特征系数是具有实际意义的,系数为负说明 y 值与该特征负相关,系数为正说明该特征与 y 值正相关,且值越大,相关度越高。我们拿波斯顿房价数据集举例说明,通过查找官方文档,我们得到这13个特征(按顺序排列)的实际意义:

Attribute Information (in order)


  • CRIM——per capita crime rate by town

  • ZN——proportion of residential land zoned for lots over 25,000 sq.ft.

  • INDUS——proportion of non-retail business acres per town

  • CHAS——Charles River dummy variable (= 1 if tract bounds river; 0 otherwise)

  • NOX——nitric oxides concentration (parts per 10 million)

  • RM——average number of rooms per dwelling

  • AGE——proportion of owner-occupied units built prior to 1940

  • DIS——weighted distances to five Boston employment centres

  • RAD——index of accessibility to radial highways

  • TAX——full-value property-tax rate per $10,000

  • PTRATIO——pupil-teacher ratio by town

  • B——1000(Bk - 0.63)^2 where Bk is the proportion of blacks by town

  • LSTAT——% lower status of the population

  • MEDV——Median value of owner-occupied homes in $1000's


为方便对应,我们将这13个特征的名字按其系数大小排下序:



结果为


array(['NOX', 'DIS', 'PTRATIO', 'LSTAT', 'CRIM', 'CHAS', 'INDUS', 'AGE',
      'TAX', 'B', 'ZN', 'RAD', 'RM'], 


由此可知特征 'NOX' 与房价的负相关度最高,查看官方文档说明可知,其代表———房子附近的氮氧化物的浓度,我们根据常识就知道,氮氧化物有毒,房子附近氮氧化物浓度高的,价钱肯定便宜。特征 'RM' 代表房子的平均房间数,同样的,根据我们的生活经验,房间数越多的房子一般也越贵,大家想想是不是。


今天的分享就到这里了,关于 Linear Regression 还有很多超参数的调整,请小伙伴们自己在下面亲手操作下,会收获更多哦。还是那句话,如果你们中有大神路过,还请高抬贵脚,勿踩勿喷,嘻嘻。期待与小伙伴们共同进步!

推荐↓↓↓
人工智能与大数据
上一篇:轻松玩转 Scikit-Learn 系列 —— 你居然不知道 PCA ? 下一篇:轻松玩转 Scikit-Learn 系列 —— KNN 算法