原文作者：ANKIT SACHAN
原文链接：https://cv-tricks.com/tensorflow-tutorial/save-restore-tensorflow-models-quick-complete-tutorial/

本教程包含以下四个部分：

什么是Tensorflow模型
如何保存Tensorflow模型
如何恢复Tensorflow模型并将其用于预测/迁移学习
如何对导入的与训练模型进行微调和修改

1. 什么是Tensorflow模型

有时候我们需要将训练好的神经网络模型保存下来，以备未来之需。在对Tensorflow模型进行保存之前，我们需要先对其进行了解。

Tensorflow模型中主要包含设计好的网络图和训练好的神经网络参数值，因此，早期版本中其会保存为以下两个文件：

- Meta图

这个文件是保存完整Tensorflow图的协议缓冲区（protocol buffer），其中包括所有变量、运算、集合等，其扩展名为.meta。

- Checkpoint文件

这是一个二进制文件，它包含权重、偏置项、梯度以及其他所有的变量的取值，扩展名为.ckpt。但是，从0.11版本开始，Tensorflow对checkpoint文件做了修改，checkpoint文件不再是单个.ckpt文件，而是如下两个文件：

- mymodel.data-00000-of-00001

- mymodel.index

其中.data文件包含我们的训练变量。

除此之外，Tensorflow还会保存一个名为checkpoint的文件，它只用来保存已保存的最新checkpoint文件记录。

总结一下，对于0.10之后的版本，tensorflow模型包含以下文件：

checkpoint
mymodel.data-00000-of-00001
mymodel.index
mymodel.meta

0.10及其之前的版本，包含以下三个文件：

checkpoint
mymodel.meta
mymodel.ckpt

现在我们已经了解了Tensorflow模型文件，下面将展示具体如何保存。

2. 如何保存Tensorflow模型

假设，我们正在训练一个用于图像分类的卷积神经网络，正常的情况下我们需要实时关注损失值和准确率。一旦发现模型已经收敛，我们可以手动停止训练或设置固定的epoch数来进行训练。当训练完成后，我们可以保存所有的变量和网络图便于以后使用。在Tensorflow中，为了保存网络图和所有参数的值，我们应该创建tf.train.Saver()类的一个对象。

import tensorflow as tf
saver = tf.train.Saver()

Tensorflow中的变量只有在session中才能激活，因此，我们需要调用刚才创建的saver对象的save方法，将模型保存在session中。

sess = tf.Session()
saver.save(sess, './mymodel')

其中，sess是session对象，mymodel是我们的模型名称。

让我们来看一个完整的例子：

import tensorflow as tf
w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')
w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')
saver = tf.train.Saver()
sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver.save(sess, './mymodel')
 
# This will save following files in Tensorflow v >= 0.11
# mymodel.data-00000-of-00001
# mymodel.index
# mymodel.meta
# checkpoint

如果我们要在1000次迭代后保存模型，我们应该在调用save方法时传入步数：

saver.save(sess, './mymodel', global_step=1000)

这会在保存模型文件时，在模型名称后加一个“-1000”：

checkpoint
mymodel-1000.data-00000-of-00001
mymodel-1000.index
mymodel-1000.meta

假设，在训练过程中我们每经过1000次迭代保存一次我们的模型，那么在第1000次迭代完成时.meta文件会第一次被创建，由于其保存的是网络图，整个训练过程中我们的模型图都不会改变，所以我们不用在第2000、3000、...次迭代后对其进行再次保存。为了不再重写meta文件：

saver.save(sess,'./mymodel', global_step=step, write_meta_graph=False)

如果你只想保存4个最新的模型并且在训练过程中每过2小时保存一次，你可以使用max_to_keep和keep_checkpoint_every_n_hours，就像这样：

saver = tf.train.Saver(max_to_keep=4, keep_checkpoint_every_n_hours=2)

注意，如果我们在tf.train.Saver()中不指定任何东西，它将保存所有的变量。要是我们不想保存所有的变量而只是一部分变量。我们可以指定我们想要保存的变量/集合。当创建tf.train.Saver()对象的时候，我们以一个列表或字典形式给它传递我们想要保存的变量。我们来看下面这个例子：

import tensorflow as tf
w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')
w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')
saver = tf.train.Saver([w1,w2])
sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver.save(sess, './mymodel',global_step=1000)

当需要的时候，可以通过这种方式来保存Tensorflow图中的指定部分。

3. 导入预训练模型

如果你想用他人预训练的模型进行微调，你需要做两件事情：

- a) 创建网络

你可以写python代码来手动创建和原来一样的模型。但是，我们已经将之前的网络保存在了.meta文件中，可以用tf.train.import()函数来直接导入网络：

saver = tf.train.import_meta_graph('mymodel-1000.meta')

import_meta_graph函数将只将定义在.meta文件中的网络添加到当前的图上。因此，它虽然帮你创建了图/网络，但我们还需要导入我们在这个图上训练好的模型的参数。

- b) 加载参数

我们可以调用由tf.train.import()创建的对象saver中的restore方法来恢复网络中的参数。

with tf.Session() as sess:
 new_saver = tf.train.import_meta_graph('mymodel-1000.meta')
 new_saver.restore(sess, tf.train.latest_checkpoint('./'))

这样，张量的值（如w1和w2）就被恢复并且可以访问了：

with tf.Session() as sess: 
 saver = tf.train.import_meta_graph('mymodel-1000.meta')
 saver.restore(sess,tf.train.latest_checkpoint('./'))
 print(sess.run('w1:0'))
##Model has been restored. Above statement will print the saved value of w1.

现在你已经理解了如何保存和导入Tensorflow模型。下面，我会介绍一个以上方法的实际应用。

4. 使用恢复的模型

现在你已经理解如何保存和恢复Tensorflow模型，我们通过下面的示例来进一步了解用预训练的模型进行预测、微调或者进一步训练。使用Tensorflow时，我们首先需要定义一个网络，它有一些样本（训练数据）和超参数（如学习率、迭代次数等）。通常用一个占位符（placeholder）来将所有的训练数据和超参数输入给网络。下面我们用占位符建立一个小型网络并保存它。注意，当网络被保存的时候，占位符中的值并没有被保存。

import tensorflow as tf
 
#Prepare to feed input, i.e. feed_dict and placeholders
w1 = tf.placeholder("float", name="w1")
w2 = tf.placeholder("float", name="w2")
b1= tf.Variable(2.0,name="bias")
feed_dict ={w1:4,w2:8}
 
#Define a test operation that we will restore
w3 = tf.add(w1,w2)
w4 = tf.multiply(w3,b1,name="op_to_restore")
sess = tf.Session()
sess.run(tf.global_variables_initializer())
 
#Create a saver object which will save all the variables
saver = tf.train.Saver()
 
#Run the operation by feeding input
print sess.run(w4,feed_dict)
#Prints 24 which is sum of (w1+w2)*b1 
 
#Now, save the graph
saver.save(sess, './mymodel',global_step=1000)

当我们想要恢复这个网络的时候，我们不仅需要恢复图和权重，还需要准备一个新的feed_dict来将训练数据输入到网络中。我们可以通过graph.get_tensor_by_name方法来引用这些保存的运算和占位符变量。

#How to access saved variable/Tensor/placeholders 
w1 = graph.get_tensor_by_name("w1:0")
 
#How to access saved operation
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")

如果我们只想在相同的网络中使用不同的数据，您只需将新数据通过feed_dict传递到网络即可。

import tensorflow as tf
 
sess=tf.Session() 
#First let's load meta graph and restore weights
saver = tf.train.import_meta_graph('mymodel-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))
 
 
# Now, let's access and create placeholders variables and
# create feed-dict to feed new data
 
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}
#Now, access the op that you want to run. 
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
 
print sess.run(op_to_restore,feed_dict)
#This will print 60 which is calculated 
#using new values of w1 and w2 and saved value of b1.

如果我们想通过添加更多的网络层来向图中添加更多的运算，然后再进行训练，该怎么办？当然这也可以实现。如下：

import tensorflow as tf
 
sess=tf.Session() 
#First let's load meta graph and restore weights
saver = tf.train.import_meta_graph('mymodel-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))
 
 
# Now, let's access and create placeholders variables and
# create feed-dict to feed new data
 
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}
 
#Now, access the op that you want to run. 
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
 
#Add more to the current graph
add_on_op = tf.multiply(op_to_restore,2)
 
print sess.run(add_on_op,feed_dict)
#This will print 120.

当然我们也可以将旧模型的一部分恢复到现有的模型中进行微调，只需通过graph.get_tensor_by_name()方法来获取原网络的部分计算图并在上面继续建立新计算图。这里给出了一个实际的例子。我们用meta图导入了一个预训练的vgg网络，然后将最后一层的输出个数改成2用于微调新的数据。

......
......
saver = tf.train.import_meta_graph('vgg.meta')
# Access the graph
graph = tf.get_default_graph()
## Prepare the feed_dict for feeding data for fine-tuning 
#Access the appropriate output for fine-tuning
fc7= graph.get_tensor_by_name('fc7:0')
#use this if you only want to change gradients of the last layer
fc7 = tf.stop_gradient(fc7) # It's an identity function
fc7_shape= fc7.get_shape().as_list()
new_outputs=2
weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))
biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))
output = tf.matmul(fc7, weights) + biases
pred = tf.nn.softmax(output)
# Now, you run this with fine-tuning data in sess.run()

希望本文能让您清楚了解Tensorflow模型的保存和恢复方式，欢迎在评论区分享您的问题或疑问。

四时宝库

程序员的知识宝库

如何保存和恢复Tensorflow模型?(一份简洁且完整的教程)

1. 什么是Tensorflow模型

2. 如何保存Tensorflow模型

3. 导入预训练模型

4. 使用恢复的模型