四时宝库

如果觉得我的算法分享对你有帮助，欢迎关注我的微信公众号“圆圆的算法笔记”，更多顶会干货、算法笔记、算法交流，以及世间万物的学习记录～

Transformer目前已经成为NLP领域的主流模型，Bert、GPT都是基于Transformer模型结构。同时，Transformer在CV领域也逐渐取得大范围的应用。对Transformer模型结构的深入细致了解非常必要。然而，Transformer的Attention计算代价较高，随着序列长度的增加计算量显著提升。因此，业内出现了很多Transformer魔改工作，以优化Transformer的运行效率。

导言

啦啦啦，现今 GAN 算法可以算作 ML 领域下比较热门的一个方向。事实上，GAN 已经作为一种思想来渗透在 ML 的其余领域，从而做出了很多很 Amazing 的东西。比如结合卷积神经网络，可以用于生成图片。或者结合 NLP，可以生成特定风格的短句子。（比如川普风格的 twitter......）

可惜的是，网络上很多老司机开 GAN 的车最后都翻了，大多只是翻译了一篇论文，一旦涉及算法实现部分就直接放开源的实现地址，而那些开源的东东，缺少了必要的引导，实在对于新手来说很是懵逼。所以兔子哥哥带着开好车，开稳车的心态，特定来带一下各位想入门 GAN 的其他小兔兔们来飞一会。