原标题：2019年 10 大精彩论文，哪篇论文打动了你？
作者 | 杨晓凡
修改 | Camel
AI 科技谈论按：2019 年立刻就要完毕了，这一年里咱们又一起见证了雪片般密布（越来越密布）的论文，见证了全世界研讨人员在各种问题上的新探究。
AI 科技谈论参阅 TopBots、Heartbeat、New World AI 等组织的 2019 论文榜单，总结出 2019 年宣布的具有研讨风向代表性的、有学术影响力、内容也精彩的 AI 论文。其间一些论文把现有的技能思路改善得愈加完善，有一些加深了咱们对机器学习/深度学习整件事的了解，也有的测验了全新的假说、打开了新的探究方向。当然，这一年有许多论文都具有显着的学术价值百科，下面总结出的只是冰山一角。假如你觉得还有哪些论文是相同值得被回忆的，欢迎在谈论区留言和咱们评论。
除此之外，咱们还预备了一篇 「2019 年十大别致论文」，总结了这一年中特别新颖风趣、乃至出格引起批判的论文。
2019 年精彩学术论文 Top10（按首字母排序）
[ 一 ]
论文：A Style-based Generator Architecture for Generative Adversarial Networks ( CVPR 2019 )
一个依据风格的GAN生成器架构
作者：NVIDIA 试验室 Tero Karras, Samuli Laine, Timo Aila
引荐理由：StyleGAN 无疑是 2019 年最抢手的 GAN 网络模型。在 StyleGAN 之前，GAN 的相关研讨现已遇到了条件式生成困难、单纯添加模型巨细的收益有限、无法生成传神的高分辨率图画等等多种窘境，StyleGAN 就冲破了这个瓶颈，在生成操控的可操控性、不同特点的相互调配、高分辨率高清晰度（且具有一致性）方面都带来了大幅前进。为此，StyleGAN 取得了 CVPR 2019 最佳论文荣誉提名奖。
StyleGAN 在网络上引发了许多评论，它惊人的人脸生成作用不只折服了吃瓜大众，也招引了许多人编撰自己的完成并敞开 demo 供一切人测验，包含生成人脸（thispersondoesnotexist.com）、生成猫（thiscatsondoesnotexist.com）、生成二次元妹子（thiswaifudoesnotexist.net）、生成房间相片（thisairbnbdoesnotexist.com）的模型。
就在近期，包含论文原作者在内的 NVIDIA 试验室研讨人员们宣布了 StyleGAN2 论文（Analyzing and Improving the Image Quality of StyleGAN，arxiv.org/abs/1912.04958），针对性地批改了 StyleGAN 生成的图画中的缺点等问题、提高了图画中元素的一致性，从而把图画生成质量带到了新的顶峰。
论文地址：StyleGAN arxiv.org/abs/1812.04948
StyleGAN2arxiv.org/abs/1912.04958
代码开源：https://github.com/NVlabs/stylegan2
[ 二 ]
论文：Bridging the Gap between Training and Inference for Neural Machine Translation ( ACL 2019 )
补偿神经机器翻译模型练习和推理之间的缺口
作者：中科院核算所智能信息处理要点试验室，中国科学院大学，微信 AI 方法识别中心，伍斯特理工学院，华为诺亚方舟试验室
引荐理由：神经机器翻译模型的练习办法是给定上下文，猜测某一些被掩模的词，但推理进程（真实的翻译进程）是需求从零生成整个语句。这种误差问题其实在序列到序列转化使命中长期普遍存在。这篇论文就研讨了这种误差，并评论怎么补偿这种误差。
作者们提出的处理方案是，生成条件在「依据参阅文本中的词」和「解码器自己的输出中预挑选词」两种之间切换，论文的试验做得十分完善，成果令人信服。依据 ACL 2019 论文奖评选委员会的定见，这种办法适用于其时的纯学习练习范式，也能为规划采样带来改善；而且，这不只或许影响原本针对的机器翻译使命的未来研讨和运用，也能用来普遍地改善其它的序列到序列转化模型。这篇论文也被选为 ACL 2019 最佳论文。
论文地址：https://arxiv.org/abs/1906.02448
[ 三 ]论文：Grandmaster Level in StarCraft II Using Multi-agent Reinforcement Learning ( Nature )
经过多智能体强化学习在星际2中到达「Grandmaster」段位
作者：DeepMind Oriol Vinyals、Demis Hassabis、Chris Apps & David Silver 等
引荐理由：2019 年 1 月，DeepMind 开发的星际 2 AI「AlphaStar」初次露脸就打败了人类工作选手。尽管其时的竞赛规矩显着对 AI 方有利，但咱们已感触到了 AI 并不是靠操作速度、而主要是靠优异的战略取得胜利的。后来，在公正规矩的、依据星际 2 天梯的大规模人机 1v1 竞赛中，AlphaStar 持续发挥出了优异的体现，取得了「Grandmaster」段位，大约为一切活泼玩家的前 0.15%。这也成为了 AlphaStar 论文宣布在《Nature》杂志 2019 年 10 月刊所需求的最终一个试验。
AI 在游戏中胜过人类当然不是第一次了，不过 DeepMind 开发 AlphaStar 并不只仅（和其它游戏 AI 相同）运用了许多的核算才能，他们运用的集体强化学习（集体进化、保存多种不同战略）等规划也改善了一般强化学习做法的问题，提高了智能体在杂乱环境中的体现。不完全信息、高维接连举动空间的长序列建模问题的处理方案日趋老练。
论文地址：https://ess.thecvf.com/content_CVPR_2019/html/Xu_Reasoning-RCNN_Unifying_Adaptive_Global_Reasoning_Into_Large-Scale_Object_Detection_CVPR_2019_paper.html
代码开源：https://github.com/chanyn/Reasoning-RCNN
[ 八 ]
论文：Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning ( ICML 2019 )
在多智能体强化学习中把交际影响作为固有动机
作者：MIT，DeepMind，普林斯顿大学
引荐理由：跟着多智能体强化学习研讨渐渐的变多，为智能体规划/让智能体学会举动协谐和信息交流成了一个重要课题。这篇论文中作者们的着力点便是在多智能体环境下，让智能体从其他智能体身上学会固有的交际动机。他们的办法是，假如一个智能体能影响其他智能体、让它们在协同和交流方面都有更好的体现，那就奖赏它。更具体地，作者们在论文中展现了，假如一个智能体让其他智能体的行为发生了较大的改动，那奖赏它就更有或许鼓舞不同的智能体之间有更多的一起信息交流。这样的机制会让智能体构成概括偏倚，更有志愿学会协同运动，即使这些智能体都是各自独登时练习的。而且影响力的奖赏是运用一种分布式的办法来核算的，能够有用处理突发通讯的问题。这篇论文取得了 ICML 2019 最佳论文荣誉提名。
同期还有另一篇来自 Facebook AI 研讨院的论文 Learning Existing Social Conventions via Observationally Augmented Self-Play （arxiv.org/abs/1806.10071）从另一个视点规划了和谐机制：在参加一个集体之前，新的智能体要经过调查和重放机制学习这个团地其时的行为方法（人类视点的「风俗习惯」），让自己能够融入，防止参加集体之后它的战略无法得到奖赏（即使在无协作的竞争性环境下能够取得奖赏）。不过大约仍是前一篇学会固有交际动机更高超一点？相比之下它但是明明白白地促进了智能体都变得更和谐、更自动交流啊（笑）。
论文地址：https://arxiv.org/abs/1810.08647
[ 九 ]
论文：Weight Agnostic Neural Networks
权重无关的神经网络
作者：谷歌 AI Adam Gaier 和 David Ha
引荐理由：现代的神经网络研讨都有一个固定的方法，固定网络架构，经过优化寻觅好的衔接权重（练习）。这种常规也引发了一些评论，「假如咱们把网络结构看作先验，把衔接权重看作学到的常识」，那么咱们能在多大程度上把常识以结构（先验）的方法集成在模型中呢？以及这样做是好仍是坏呢？
这篇论文便是一次直接的探究，网络的练习进程不是为了寻觅权重，而是在相对固定且随机的权重下寻觅更好的网络结构。关于集成了好的先验的网络结构，即使网络中一切的权重都一致且随机的也能有好的体现；在此基础上假如能答应别离优化不同的权重，网络的体现就能够更上一层楼。这种办法找到的先验常识也会以网络结构的方法直接体现出来，有更好的可解释性。
假如说「固定网络结构，寻觅权重」和「固定权重、寻觅网络结构」别离就像「气宗」与「剑宗」，那么现在两边终于都上台了，咱们咱们能够等待未来有更多的好戏演出。
论文地址：https://arxiv.org/abs/1906.04358
具体的介绍：https:///news/201906/wMjVvtWT2fr8PcxP.html
代码开源：https://weightagnostic.github.io/
[ 十 ]
论文：XLNet: Generalized Autoregressive Pretraining for Language Understanding
XLNet：用于言语了解的通用自回归预练习
作者：CMU，谷歌 AI
引荐理由：依据 BERT 的改善模型许多，XLNet 是其间十分成功的一个。XLNet 的改善要点在于，1，用依据输入次序置换的新的掩模办法代替 BERT 的掩模+双向猜测（这种机制规划使得 BERT 更像是文本降噪模型，而在生成使命中体现欠安），2，运用了 token 内容和 token 方位别离的双流自注意力机制，3，采用了和改善 2 匹配的新的掩模办法。这些规划让 XLNet 兼具了序列生成才能（相似传统言语模型）和上下文信息参阅才能。
再加上选用更大的练习数据集、用更习惯长序列的 Transformer-XL 作为骨干网络、练习办法对掩模的利用率更高、答应部分猜测练习等改善，能够说 XLNet 相关于 BERT 的技能改善是自始至终的，在作者们测验的一切使命中都取得了比 BERT 更好的体现也是情理之中（尽管有一些使命中提高并不大）。
XLNet 这样的模型呈现代表着 NLP 预练习模型越发老练，习惯的下流使命渐渐的变多、体现渐渐的变好；也代表着一个一致的模型架构就有或许处理各种不同的 NLP 使命。
论文地址：https://arxiv.org/abs/1906.08237
代码开源：https://github.com/zihangdai/xlnet
More ……
除此之外，以下这 10 篇论文也曾在咱们的候选列表里，它们各杰出之处，咱们列举如下：
- AI surpasses humans at six-player poker ( Science Magazine)
- https://science.sciencemag.org/content/365/6456/864
- 在 6 人德州扑克游戏中胜过人类的扑克 AI（这也是 Science 杂志总结的 2019 年 10 大科学打破第 10 名）
- ALBERT: A Lite BERT for Self-supervised Learning of Language Representations
- https://arxiv.org/abs/1909.11942v1
- 简化版 BERT，但不是简略的缩小完事，他们用更少的参数取得了更好的体现
- A Theory of Fermat Paths for Non-Line-of-Sight Shape Reconstruction
- https://
责任修改：
