最近读了Goodfellow最初的那篇生成对抗网络的论文。在这里对论文中比较重要的部分记录一下。论文中还有好多自己不同的概念，希望后面自己还可以回来再加以补充。

虽然已经多次遇到KL散度，并通过查资料进行理解，但过一段时间又忘了，最后发现写下来才是记忆的最好方式。

损失函数作为优化一个神经网络的目标，对于神经网络最后的性能影响重大。Softmax+crossentropy作为一个分类的损失函数受到大家广泛的使用。本文将对于softmax做一个推导，并对很多论文中对softmax所做的改进做一个总结。