Some tricks in SRE

在这片文章中，我将记录一些在说话人验证任务中有用的trick。

• Embedding Regularization

  这个方法是我在论文DEEP SPEAKER EMBEDDING LEARNING WITH MULTI-LEVEL POOLING FOR TEXT-INDEPENDENT SPEAKER VERIFICATION中看到的，在xvector提取embedding的时候(有LDA和PLDA的backend)，除了说话人的loss之外，对embedding加一个regularization，让它的值的范围比较小，对于最后的性能会有改善。这个结论我自己还没验证，验证之后我将把这句话删了。

  $$\mathcal{L}=-\sum_{i=1}^{M} \log \frac{\exp ^{w_{c_{i}}^{T} x_{i}+b_{c_{i}}}}{\sum_{j}^{N} \exp ^{w_{j}^{T} x_{i}+b_{j}}}+\lambda\left\|z_{i}\right\|_{2} \label{regularize}\tag{1}$$