1． 导读

就像我们在学习一门编程语言时总喜欢把"Hello World！"作为入门的示例代码一样，MNIST手写数字识别问题就像是深度学习的"Hello World！"。通过这个例子，我们将了解如何将数据转化为神经网络所需要的数据格式，以及如何使用TensorFlow搭建简单的单层和多层的神经网络。

2． MNIST数据集

MNIST 数据集可以从网站 http://yann.lecun.com/exdb/mnist/ 上下载，需要下载的数据集总共有4个文件，其中"train-images-idx3-ubyte.gz"是训练集的图片，总共有60000张，"train-labels-idx1-ubyte.gz"是训练集图片对应的类标（0~9）。"t10k-images-idx3-ubyte.gz"是测试集的图片，总共有10000张，"t10k-labels-idx1-ubyte.gz"是测试集图片对应的类标（0~9）。TensorFlow的示例代码中已经对MNIST数据集的处理进行了封装，但是作为第一个程序，我们希望带着读者从数据处理开始做，数据处理在整个机器学习项目中是很关键的一个环节，因此有必要在第一个项目中就让读者体会到它的重要性。

手写数字识别算法的设计与实现

本文使用python基于TensorFlow设计手写数字识别算法，并编程实现GUI界面，构建手写数字识别系统。这是本人的本科毕业论文课题，当然，这个也是机器学习的基本问题。本博文不会以论文的形式展现，而是以编程实战完成机器学习项目的角度去描述。

项目要求：本文主要解决的问题是手写数字识别，最终要完成一个识别系统。

设计识别率高的算法，实现快速识别的系统。

上期我们分享了TensorFlow的过拟合与dropout的问题过拟合（Overfitting）与dropout，本期我们来实现如何在TensorFlow中利用代码实现overfiting的问题。

我们导入sk-learn的数据，来进行本期的训练分析

本文介绍简单说说深层神经网络中的几种常用方法，深度学习所示深层神经网络的代名词，重要特性：多层、非线性。若只通过线性变换，任意层的神经网络模型与单层神经网络模型的表达能力没有任何区别，这是线性模型的局限性。对于线性可分的问题中，线性模型可解决，但在现实生活中，绝大部分的问题都是无法线性分割的。

1、激活函数

将每一个神经元（神经网络的节点）的输出通过一个非线性函数便可使得整个神经网络的模型非线性化，这个非线性函数就是激活函数。常用非线性激活函数：tf.nn.relu、tf.sigmoid、tf.tanh；使用方法，例：tf.nn.relu(tf.matmul(x,w1)+biases1)

李林 编译自 Google Research Blog

量子位 出品 | 公众号 QbitAI

谷歌今天推出了一个新的开源Python自动微分库：Tangent。

和现有的机器学习库不同，Tangent是一个源代码到源代码的系统，使用Python函数f，并用一个新的Python函数来计算f的梯度。这能帮用户更好地看清梯度计算，并更简单地对梯度进行用户级编辑和调试。

此外，Tangent还有更多调试和设计机器学习模型的功能：