雷锋网按：本文作者天清，原文载于其知乎专栏世界那么大我想写代码，雷锋网获其授权发布。

项目地址：QuantumLiu/tf_gpu_manager

***

更新：支持pytorch

***

使用

git clone https://github.com/QuantumLiu/tf_gpu_manager

把manager.py放到你训练的目录就行。

雷锋网 AI 科技评论按：OpenAI 的研究人员们近日发布了一个高度优化的 GPU 计算内核，它可以支持一种几乎没被人们探索过的神经网络架构：带有稀疏块权重的网络。取决于不同的稀疏程度，这些内核的运行速度可以比 cuBLAS 或者 cuSPARSE 快一个数量级。OpenAI 的研究人员们已经通过这些内核在文本情感分析和文本图像的生成中得到了顶尖的成果。雷锋网 AI 科技评论把 OpenAI 的这篇介绍文章翻译如下。

在深度学习领域，模型架构和算法的开发很大程度上受制于 GPU 对基础计算操作的支持到什么程度。具体来说，其中有一个问题就是通过 GPU 实现稀疏线性操作时计算效率太低。OpenAI 这次发布的计算内核就是为了支持这个的，同时也包含一些实现的多种稀疏模式的初期成果。这些成果已经展示出了一些潜力，不过还算不上是决定性的证据。OpenAI 的研究人员们也邀请更多深度学习领域的研究人员一起参与，携手继续改进这个计算内核，让更多的计算架构变得可能。

本系列属于连载内容，有需要修正的地方，还望各位同仁在评论专区积极指出。

主要是基于图深度学习的入门内容。讲述最基本的基础知识，其中包括深度学习、数学、图神经网络等相关内容。偏重完整的知识体系和学习指南，在实践方面不会涉及太多基础内容。

文章涉及使用到的框架以PyTorch和TensorFlow为主。默认读者已经掌握Python和TensorFlow基础。如有涉及到PyTorch的部分，会顺带介绍相关的入门使用。

主题:

TensorFlow是一个强大的深度学习框架，广泛应用于生成模型的训练。本教程将引导你通过一个实际项目，学习如何使用TensorFlow构建一个对抗生成网络（GAN），用于生成艺术作品。我们将涵盖项目准备、数据处理、模型构建、训练、生成等关键方面。

第一步：项目准备

前言

GAN（生成对抗网络）是深度学习中非常引人注目的算法之一，它由Ian Goodfellow等人于2014年提出。GAN算法在图像生成、风格转换、数据增强等领域取得了显著的成就。本博客将带您从入门到精通，逐步介绍GAN算法的原理和实现，并附带示例代码帮助您更好地理解和应用GAN。

这次，我们将创建一个基于TensorFlow的图像生成应用，展示如何使用深度学习模型，如生成对抗网络（GANs），来生成艺术风格的图像。以下是教程的大纲：

引言

CycleGAN算法是一种强大的无监督学习技术，用于在两个不同领域之间进行图像转换。它的独特之处在于，它能够在没有配对训练数据的情况下进行转换，从而实现了更广泛的应用。本文将深入解读CycleGAN算法的原理和应用场景，并通过一个有趣的代码示例展示其魔力。