什么是过拟合？

在训练假设函数模型h时，为了让假设函数总能很好的拟合样本特征对应的真实值y，从而使得我们所训练的假设函数缺乏泛化到新数据样本能力。

怎样解决过拟合

过拟合会在变量过多同时过少的训练时发生，我们有两个选择，一是减少特征的数量，二是正则化，今天我们来重点来讨论正则化，它通过设置惩罚项让参数θ足够小，要让我们的代价函数足够小，就要让θ足够小，由于θ是特征项前面的系数，这样就使特征项趋近于零。岭回归与Lasso就是通过在代价函数后增加正则化项。

大数据文摘出品

编译：Apricock、睡不着的iris、JonyKai、钱天培

“损失函数”是机器学习优化中至关重要的一部分。L1、L2损失函数相信大多数人都早已不陌生。那你了解Huber损失、Log-Cosh损失、以及常用于计算预测区间的分位数损失么？这些可都是机器学习大牛最常用的回归损失函数哦！

import numpy as np
np.random.seed(0)
?
def compute_reciprocals(values):
 output=np.empty(len(values))
 for i in range(len(values)):
 output[i]=1.0/values[i]
 return output
?
values=np.random.randint(1,10,size=5)
compute_reciprocals(values)

在本教程中，我们将使用PySpark，它是Apache Spark的Python包装器。虽然PySpark有一个很好的K-Means ++实现，但我们将从头开始编写自己的实现

将数据集加载为RDD

开始前，确保您可以访问气象站数据集：

https://github.com/yoavfreund/UCSD_BigData_2016/tree/master/Data/Weather

一天，小迪与小西想养一只宠物。

小西：小迪小迪，好想养一只宠物呀，但是不知道养那种宠物比较合适。

小迪：好呀，养只宠物会给我们的生活带来很多乐趣呢。不过养什么宠物可要考虑好，这可不能马虎。我们需要考虑一些比较重要的问题。

小西：我也考虑了好多呀，可是还是很难去选择。我想养可爱的小兔兔，可是兔兔吃得很挑剔，又想养狗狗，可是狗狗每天都需要遛它，怕自己没有时间呀。