paper

参考链接


前言

GAN的演进(2014->2019):


导论

深度学习不仅是学习网络，更是对数据分布的一种表示。这和统计学习方法里面的观点不谋而合，后者认为机器学习模型从概率论的角度讲，就是一个概率分布Pθ​(X) (这里以概率密度函数来代表概率分布)

机器学习的任务就是求最优参数θt​ ,使得概率分布 Pθ​(X) 最大(即已发生的事实，其对应的概率理应最大)。

$θ_t = argmax_θ P(X|θ)$ : argmax 函数代表的是取参数使得数据的概率密度最大。求解最优参数θt​的过程,我们称之为模型的训练过程( Training )


深度学习在判别模型上取得了很好的效果，但是在生成模型上比较差。

难点:最大化似然函数时，要对概率分布做很多近似，近似带来了很大的计算困难。

根据难点，不用再去近似似然函数了，可以用更好的办法（GAN）来计算模型。

思路：GAN是一个框架，里面的模型都是MLP。生成器G这个MLP的输入是随机噪声，通常是高斯分布，然后将其映射到任何一个我们想去拟合的分布；判别器D也是MLP，所以可以通过误差的反向传递来训练，而不需要像使用马尔可夫链这样的算法对一个分布进行复杂的采样。这样模型就比较简单，计算上有优势。


相关工作

以前的模型：构造分布函数，同时提供一些参数可学习
以前模型的缺点：采样分布时，求解参数算起来很难
GAN的想法：不再去构造分布函数，而是学习一个模型来近似这个分布
当前模型的缺点：不知道最终的分布到底是什么样子