RSGAN:对抗模型中的“图灵测试”思想

  • 时间:
  • 浏览:1

理论结果

通过变分法(中间有补充证明)都还还都可以得到,(7) 的最优解为:

问題所在

模型效果分析

至于效果,论文中的效果列表显示,RSGAN 在不少任务上都提升了模型的生成质量,但这太少经常这样 ,平均而言有轻微的提升吧。作者有点痛 指出的是 RSGAN 无需都还还都可以加快生成器的训练传输传输速率,我当时人也实验了一下,比 SGAN、SNGAN 都不 快你你这个 。

接下来朋友肯能看多,RSGAN 太少我基于“图灵测试”的思想的:肯能鉴别器无法鉴别出混合的真假图片,这样生成器就成功了;而为了生成更好的图片,生成器就是 需要 直接借有助真实图片。

f 散度中的 f 的本质要求是 f 是一一三个小凸函数,太少只不都还还都可以 挑选 h 使得 h(log(t)) 为凸函数就行。最简单的清况 是 h(t)=−t,对应 h(log(t))=−logt 为凸函数,这就让 (2) 为:

类似的挑选有太少,比如当 h(t)=−logσ(t) 时,也是凸函数(t>0 时),太少:

朋友经常说,WGAN 是 GAN 就让的一大突破,这没错,但你你这个 突破是理论上的,而在思想上还是一样,都不 在减少一一三个小分布的距离,只不过就让用 JS 散度肯能有各种问題,而 WGAN 换用了 Wasserstein 距离。

代入到 (8),结果是:

这四天无意间发现一一三个小非常有意义的工作,称为“相对GAN”,简称 RSGAN,来自文章 The relativistic discriminator: a key element missing from standard GAN,据说该文章还得到了 GAN 创始人 Goodfellow 的点赞。这篇文章提出了用相对的判别器来取代标准 GAN 原有的判别器,使得生成器的收敛更为更慢,训练更为稳定。

就是 没哪些变化,那太少我明真假样本肯能无法分辨了,训练成功,就是 还能分辨出来,说明还不都还还都可以 借助真实样这样 改善伪造样本。太少,式 (11) 太少我 RSGAN 中的“图灵测试”思想的体现:打乱了数据,是有无还能分辨出来?

(1) 的最优解

看上去太少我把 SGAN 的判别器的两项加带一一三个小相对判别器了,相关的分析结果哪些变化呢?

首先,都还还都可以留意到,WGAN 的判别器 loss 有某种太少我两项的差的形式,也太少我说 WGAN 的判别器太少我一一三个小相对判别器,作者认为这是 WGAN 效果好的重要意味着。

变分用 δ 表示,跟微分基本一样:

可惜的是,这篇文章仅仅从训练和实验宽度对结果进行了论述,并这样进行更深入的分析,以至于不少人着实这太少我 GAN 训练的一一三个小 trick。就是 在笔者看来,RSGAN 具有更为深刻的含义,甚至都还还都可以看成它肯能开创了一一三个小新的 GAN 流派。太少,笔者决定对 RSGAN 模型及其转过身的内涵做一一三个小基本的介绍。不过不都还还都可以 指出的是,除了结果一样之外,本文的介绍过程跟原论文相比几乎这样重合之处。

这是哪些意思呢?它太少我说,就是 我从真实样本采样一一三个小 Xr 出来,从伪造样本采样一一三个小 Xf 出来,就是 将它们交换一下,把假的当成真,真的当成假,这样还能分辨出来吗?换言之:p̃(Xf)q(Xr) 有大变化吗?

也是一一三个小合理的挑选,它便是 GAN 常用的生成器 loss 之一。类似地还有 h(t)=log(1−σ(t)),哪些挑选就不枚举了。

我的参考代码:

最后胡扯你你这个 延伸语录题。

https://github.com/bojone/gan/blob/master/keras/rsgan_sn_celeba.py



这里的 σ 太少我 sigmoid 激活函数。就是 固定判别器,朋友优化生成器 G(z):

原文发布时间为:2018-10-29

RSGAN收敛传输传输速率对比

(7) 的最优解



跟 SGAN 一样,朋友这里保留了一般的 h,h 的要求跟前面的 SGAN 的讨论一致。而 RSGAN 原论文的挑选是:

延伸讨论

在建模时,通过交替训练实现你你这个 过程:固定生成器,训练一一三个小判别器(二分类模型),将真实样本输出 1,将伪造样本输出 0;就是 固定判别器,训练生成器让伪造样本尽肯能输出 1,中间你你这个 步无需都还还都可以 真实样本参与。

这里,朋友先直接给出 RSGAN 的优化目标:固定生成器后,朋友来优化判别器 T(x):

你你这个 结果便是整个 RSGAN 的精华所在了,它优化的是 p̃(Xr)q(Xf) 与 p̃(Xf)q(Xr) 的 f 散度!

总的来说,着实 RSGAN 是对 GAN 的改进是从思想上做了改变的,你说歌词 RSGAN 的作者也这样留意到你你这个 点。

补充证明

还有一一三个小问題,太少我目前作差仅仅是判别器最后输出的标量作差,这样都还还都可以是判别器的某个隐藏层作差,就是 算个 mse 肯能再接几层神经网络?总之,着实你你这个 模型的事情应该还没完。

“图灵测试”思想

RSGAN基本框架

简单总结

相关话题讨论



代入 (2),都还还都可以发现结果为:

这样 看上去 WGAN 跟 RSGAN 有某种都不 你你这个 交集,但我有个更进一步的想法,太少我基于 p̃(xr)q(xf) 与p̃(xf)q(xr) 的比较都还还都可以完正换用 Wasserstein 距离来进行?朋友知道 WGAN 的生成器训练目标也是跟真实样本没关系的,怎么才能 会更好地将真实样本的信息引入到 WGAN 的生成器中去?

RSGAN 的你你这个 提升是容易重现的,当然肯能都不 各种任务都不 提升,太少都不 人诟病这不过是 GAN 训练的一一三个小 trick。哪些评论见仁见智吧,不妨碍我对这篇论文的赞赏和研究。

极值在变分为 0 时取到,太少方括号内的偏离 恒为 0,即:

写成最后一一三个小等式,是肯能只不都还还都可以 设 f(t)=h(log(t)),就无需都还还都可以看出它具有 f 散度的形式。也太少我说,最小化 (2) 太少我在最小化对应的 f 散度。关于 f 散度,都还还都可以参数我就让写的 f-GAN 简介:GAN 模型的生产车间 [1]

极值在变分为 0 时取到,而 δσ(T(x)) 代表任意增量,太少肯能上式恒为 0,意味着括号内的偏离 恒为 0,即:

变分上式:

从直观来看,RSGAN 变快是肯能在训练生成器时也借用了真实样本的信息,而不仅仅通过判别器的“记忆”;从理论上看,通过 T(Xr)、T(Xf) 作差的法律依据,使得判别器只依赖于它们的相对值,从而简单地改善了判别器 T 肯能处于的偏置清况 ,使得梯度更加稳定。甚至着实,把真实样本也引入到生成器的训练中,有肯能(没仔细证明)提升伪造样本的多样性,肯能有了各种真实样这样 对比,模型肯能只生成单一样本,也真难满足判别器的对比判别标准。

“对比”能让朋友更容易识别出真、赝品出来,从而更好地制造赝品。而在人工智能领域,朋友知道有非常著名的“图灵测试”,指的是测试者在无法预知的清况 下一块儿跟机器人和人进行交流,肯能测试者无法成功分别出人和机器人,这样说明你你这个 机器人肯能(在某个方面)具其他同学的智能了。“图灵测试”也强调了对比的重要性,肯能机器人和人混合起来后就无法分辨了,这样说明机器人肯能成功了。

在生活实际中,朋友并都不 这样 做的,所谓“这样对比就这样伤害,这样伤害就这样进步”,朋友太少就让是根据真、赝品的对比来分辨的。比如识别一张假币,肯能不都还还都可以 把它跟一张真币对比一下;识别山寨手机,只不都还还都可以 将它跟正版手机对比一下就行了;等等。类似地,肯能要想把赝品造得更真,这样不都还还都可以 把真品倒进一旁不断地进行对比改进,而都不 单单凭借“记忆”中的真品来改进。

然而,你你这个 建模过程似乎对判别器的要求过于苛刻了,肯能判别器是孤立运作的:训练生成器时,真实样本这样参与,太少判别器不都还还都可以 把关于真实样本的所有属性记住,这样 不都还还都可以指导生成器生成更真实的样本。



本文作者:苏剑林

注意这里朋友有个不挑选 h,朋友马上就来分析它。从 (1) 朋友都还还都可以解出判别器的最优解满足(中间有补充证明):

SGAN分析

作者在原论文中还提出了一一三个小 RaSGAN,a 是 average 的意思,太少我用整个 batch 的平均来代替单一的真/伪样本。但着实这都不 一一三个小有点痛 优雅的做法,就是 论文也表明 RaSGAN 的效果太少经常比 RSGAN 要好,太少这就不介绍了,有兴趣的读者看看原论文即可。

SGAN 太少我标准的 GAN(Standard GAN)。就算这样做过 GAN 研究的读者,相信也从各种渠道了解到 GAN 的要花费原理:“造假者”不断地进行造假,试图愚弄“鉴别者”;“鉴别者”不断提高鉴别技术,以分辨出真品和赝品。两者相互竞争,一块儿进步,直到“鉴别者”无法分辨出真、赝品了,“造假者”就功成身退了。

借用 MingtaoGuo [2] 的一张图来对比 RSGAN 的收敛传输传输速率:

首先,朋友来回顾一下标准 GAN 的流程。设真实样本分布为 p̃(x),伪造样本分布为 q(x),这样固定生成器后,朋友来优化判别器 T(x):

对了,顺便说一下,作者 Alexia Jolicoeur-Martineau [3] 是犹太人总医院(Jewish General Hospital)的一名女生物统计学家,论文中的结果是她只用一颗 10300 跑出来的 [4]。我经常也为我不到一颗 10300 感到自豪了,然而我有 10300 但我并这样 paper。

着实 RSGAN 更像是有某种思想上的突破——转化为真假样本混淆就让的分辨——尽管效果太少有大的进步。(当然愿意 是说朋友最终的效果都不 拉近了分布距离,这样 也没话说)。

这里的 σ 太少我 sigmoid 激活函数。就是 固定判别器,朋友优化生成器 G(z):

SGAN

RSGAN目标