在这片文章中，我将记录一些在说话人验证任务中有用的trick。

损失函数作为优化一个神经网络的目标，对于神经网络最后的性能影响重大。Softmax+crossentropy作为一个分类的损失函数受到大家广泛的使用。本文将对于softmax做一个推导，并对很多论文中对softmax所做的改进做一个总结。

在自己看的众多说话人识别的论文中，不同的研究者为了达到intra-speaker距离最小化和inter-speaker距离最大化提出了众多的loss。虽然自己也无法记全都有哪些，但在这里先记起来，以后看到新的再做更新。

最近因为要使用LSTM，所以就临时学了下RNN、LSTM和GRU以及LSTM和GRU的初始化问题，并在这里总结一下。