智驾峰会
您正在使用IE低版浏览器,为了您的雷锋网账号安全和更好的产品体验,强烈建议使用更快更安全的浏览器
此为临时链接,仅用于文章预览,将在时失效
人工智能学术 正文
发私信给杨晓凡
发送

0

对抗高质量图像生成中的模式崩溃,及相关论文推荐

本文作者:杨晓凡 2019-09-08 21:48
导语:又一个问题已经接近宣告解决

雷锋网(公众号:雷锋网) AI 科技评论按:随着 ICCV 2019 发榜,许多学者已经开始公开以及传播自己的 ICCV 录用论文。计算机视觉领域重磅大佬、UC 伯克利 Jitendra Malik 和南京大学合作的一篇论文引发了我们的注意。我们也一同回顾一下与它相关的几篇论文。

《Diverse Image Synthesis from Semantic Layouts via Conditional IMLE》

通过条件 IMLE 从语义布局图中生成多样的图像

对抗高质量图像生成中的模式崩溃,及相关论文推荐

在对应白天-黑夜的隐含噪声向量控制下,图像内容可以在白天和黑夜之间进行连续的变化

  • 亮点简介:对于不使用 GANs 的,也就是基于端对端网络的条件图像生成以及图像转换任务来说,大多数现有方法都只能生成一张或者有限张好的图像;甚至于,使用 GANs 的方法虽然理论上可以不受数量限制,但实际上也需要想办法克服模式崩溃(mode collapse)问题,不然生成的图像都大同小异。这篇论文就是 Jitendra Malik 等人对模式崩溃问题提出的解决方案,目标是能根据语义分割图像生成任意多张对应的真实图像,在保留同样的语义布局的同时,可以有无限多的外观变化。

    他们的方法是使用了最近提出的 Implicit Maximum Likelihood Estimation (隐式最大似然估计,IMLE) 框架,在网络中用隐含向量对应图像外观的不同因素,从而通过隐含向量的变化,控制图像的外观变化;这样,对图像风格的变化有了更多控制,通过不同向量的值的组合也就能让得到的结果更多样、不重复。另外,即便使用同样的模型架构,他们的方法生成的图像也瑕疵更少。虽然学习到的隐含空间缺乏监督,但是能够学习到一些合理的结构,就能够帮助让模型发挥出很多的表现。

  • 这篇论文的方法同时让我们想起 ICCV 2017 论文 《Photographic Image Synthesis with Cascaded Refinement Networks》 和 CVPR 2019 论文 《A Style-Based Generator Architecture for Generative Adversarial Networks》。雷锋网 AI 科技评论下面也做简单介绍。

《Photographic Image Synthesis with Cascaded Refinement Networks》 

用级联优化网络生成照片级图像

对抗高质量图像生成中的模式崩溃,及相关论文推荐

  • 亮点简介:在这篇论文发表时,用 GANs 生成大尺寸、高精度、高真实度图像的方法尚未出现,这篇论文的成果可以说是一大突破;而且论文只用了端到端的网络就达到了这个目标。

    具体来说,「从一张真实世界的图像生成语义分割布局图像」这一监督学习任务已经得到了较好的解决,那么反过来,从「从语义布局图像生成照片级图像」也就是完全有可能的,这就为生成大尺寸、高精度、高真实度图像打开了一扇窗户。当然了,真的做到这一点还是需要一些技巧的,作者们通过大量实验,总结出模型需要兼顾全局协调性、高分辨率、记忆力三个特点才能达到好的效果,并设计了对应的逐级提高分辨率的级联优化网络 CRN。另外,他们也采取了一些手段,首先让模型生成多张不同的图像,然后从多张图像中选择最真实的部分进行拼接。最终达到了非常好的效果。

《A Style-Based Generator Architecture for Generative Adversarial Networks》

一个基于风格的 GANs 图像生成架构

对抗高质量图像生成中的模式崩溃,及相关论文推荐

  • 论文亮点:我们都知道,GANs 生成图像都是从一个随机种子开始的,然后我们就只能期盼这是一个好的随机种子,可以带来好的图像 —— 说白了我们对中间的生成过程完全没有控制。在条件图像生成的论文中人们对这个问题有一些研究,但是没有大的突破。

    这篇论文提出的新架构从图像风格迁移论文中得到了启发。他们的模型架构可以自动地、无监督地学习到不同的高级别属性(比如在人脸上训练时可以学习到姿态和肤色),而且在生成的图像中有足够的随机变化。他们方法的关键在于,对控制图像中变化的隐含变量进行了解耦,这样我们就得以具体地控制不同高级别属性的取值以及它们的变化。他们提出的两种新方法也可以用在任意的生成器架构中。


这三篇论文中,第一篇、第二篇论文都有「从语义布局图生成图像」,而第一篇和第三篇论文都有「学习隐含变量空间、尝试隐含变量解耦」。这三篇论文值得放在一起读一读,仔细揣摩对比一下他们的做法。

雷锋网 AI 科技评论报道。

雷锋网版权文章,未经授权禁止转载。详情见转载须知。

对抗高质量图像生成中的模式崩溃,及相关论文推荐
分享:
相关文章

文章点评:

表情
最新文章
请填写申请人资料
姓名
电话
邮箱
微信号
作品链接
个人简介
为了您的账户安全,请验证邮箱
您的邮箱还未验证,完成可获20积分哟!
请验证您的邮箱
立即验证
完善账号信息
您的账号已经绑定,现在您可以设置密码以方便用邮箱登录
立即设置 以后再说
2019年第123期管家婆资料 涟水县| 萨嘎县| 关岭| 福海县| 利津县| 涞源县| 嘉兴市| 开远市| 巴楚县| 阳曲县| 昌江| 广汉市| 楚雄市| 牟定县| 南投市| 崇仁县| 海口市| 连南| 枞阳县| 鄂托克旗| 凌云县| 筠连县| 湟源县| 攀枝花市| 德格县| 盱眙县| 玉山县| 天祝| 湘西| 北安市| 巴塘县| 红原县| 临夏市| 宜川县| 确山县| 潜江市| 乳山市| 内黄县| 三原县| 长泰县| 瑞金市| 三原县| 武冈市| 公主岭市| 星子县| 民勤县| 南宁市| 城固县| 西峡县| 大埔区| 巧家县| 城固县| 江达县| 新丰县| 七台河市| 大新县| 寻甸| 那坡县| 淄博市| 青铜峡市| 乳山市| 宜春市| 乌兰县| 利川市| 和静县| 红安县| 西昌市| 宽甸| 榆树市| 大埔县| 尚义县| 工布江达县| 林周县| 宁乡县| 澳门| 定安县| 梁平县| 濮阳市| 涡阳县| 长汀县| 莫力| 绥棱县| 麻城市| 天长市| 治多县| 潮安县| 南丹县| 宣化县| 若尔盖县| 邛崃市| 华安县| 金平| 吉木萨尔县| 永清县| 聂拉木县| 阿拉善左旗| 临澧县| 惠水县| 大新县| 长泰县| 禹州市| 呼伦贝尔市| 怀来县| 中江县| 福州市| 吉安县| 台江县| 公安县| 乐业县| 乌兰察布市| 德安县| 南部县| 淮安市| 永嘉县| 仁寿县| 台前县| 紫金县| 满洲里市| 金沙县| 石狮市| 岳阳县| 哈巴河县| 靖边县| 马山县| 广昌县| 礼泉县| 灵璧县| 华宁县| 宁阳县| 卓尼县| 平泉县| 阳城县| 台南市| 蒙自县| 专栏| 宁海县| 蒙城县| 连州市| 阳西县| 南木林县| 峨边| 合山市| 宝丰县| 房山区| 丁青县| 宣汉县| 建昌县| 阿克陶县| 信丰县| 汕头市| 莒南县| 辉南县| 华阴市| 平和县| 成武县| 天水市| 湟中县| 屏南县| 万州区| 安仁县| 双鸭山市| 揭阳市| 新绛县| 平顶山市| 高陵县| 育儿| 宜宾县| 拉孜县| 聊城市| 霍林郭勒市| 钦州市| 抚州市| 梧州市| 九龙坡区| 北京市| 离岛区| 大竹县| 天峻县| 淅川县| 平潭县| 武冈市| 左权县| 新建县| 驻马店市| 且末县| 横峰县| 旬阳县| 南宫市|