美国留学

机器之心ArXiv 每周广播电台

参加者：杜伟、楚航、罗若天

本周重要论文包括AAAI 2020 最佳论文、最佳学生论文以及Hinton 小组提出的新无监督方法SimCLR。

目录：

视觉表示对比学习的简单框架WinoGrande: 大规模的对抗性Winograd 模式挑战混合可分和不可分割商品的公平划分通过近端迭代进行高效神经架构搜索中国2019 年新型冠状病毒爆发的流行病学和临床特征准备政策One: 通过主动学习构建世界BERT 真的很强大吗A Strong Baseline for Natural Language Attack on Text Classification and EntailmentArXiv Weekly Radiostation：更多有关NLP、CV 和ML 的精选论文（带音频）。

论文1：视觉表征对比学习的简单框架

作者：Ting Chen、Simon Kornblith、Mohammad Norouzi、Geoffrey Hinton 论文链接：https://arxiv.org/pdf/2002.05709.pdf

摘要：如今，ImageNet 上图像识别准确率的性能提升通常每次只有零点几个百分点。然而，图灵奖获得者Geoffrey Hinton 等谷歌研究人员的最新研究却一举提升了无监督学习的指标。 7-10%，甚至可以媲美监督学习的效果。 SimCLR 是一种简单明了的方法，允许AI 在没有类标签的情况下学习视觉表示，并具有监督学习的准确性。论文作者表示，在对ImageNet 上1% 的图像标签进行微调后，SimCLR 可以达到85.8% 的Top-5 准确率。 —— 仅用1% 的标签就优于AlexNet。

Hinton 在推特上推荐了他的领导团队引入的SimCLR 无监督方法。

SimCLR与之前的各种自监督方法（用ImageNet预训练）在ImageNet上的Top-1精度对比，以及ResNet-50的监督学习效果（灰）。

推荐：Hinton小组推出的这种新的无监督学习方法在Twitter上引起了热议，也受到了机器学习社区的广泛关注。

论文2：WinoGrande: 大规模对抗性Winograd 模式挑战

作者：Keisuke Sakaguchi、Ronan Le Bras、Chandra Bhagavatula、Yejin Choi 论文链接：https://mp.weixin.qq.com/s/QpT-oiocE1n2ZwD4-r-3oQ 摘要：Winograd Schema Challenge (WSC) 是常识推理的基准测试273 个专家撰写的问题，专门涉及依赖于选择偏好和单词关联的统计模型。但最近，许多型号在该基准测试中的性能都达到了90%。因此，研究人员希望了解这些模型是否真正实现了强大的常识能力。

因此，研究人员提出了WINOGRANDE，一个包含44k 个问题的大规模数据集。该数据集的规模和难度都比以前的数据集更大。该数据集的构建涉及两个步骤：首先使用众包设计问题，然后使用新的AFLITE 算法减少系统偏差，从而将人类可感知的单词关联转换为机器可检测的嵌入。嵌入关联。目前最好的SOTA 模型可以实现59.4 79.1% 的性能，比面部性能水平(94%) 低15-35%（绝对值）。这种性能波动取决于训练数据量（2% 到100%）。

WSC 问题是成对出现的。其中，这两道题基本相似，都有两个回答项。该问题包含一个触发词来指示哪个选项是正确的。

使用AFLITE 算法检测到的数据集偏差用X 标记。

推荐：该论文荣获AAAI 2020年度最佳论文奖。文章中提出的WINOGRANDE是一个很好的迁移学习资源；但这也表明我们现在高估了模型的常识推理能力。研究人员希望这项研究能够引起人们对减少算法偏差的关注。

论文3：混合可分割和不可分割商品的公平划分

作者：贝晓辉、李子浩、刘金艳、刘胜新、陆新航论文链接：https://arxiv.org/pdf/1911.07048.pdf 摘要：本文研究资源包含可分割商品和不可分割商品时的公平分配问题。例如，无嫉妒(EF) 和无嫉妒可以应用于单一商品（最多一种商品的无嫉妒，EF1）。这种经典的公平概念不能直接应用于混合商品的分配问题。在本研究中，提出了一种新的混合商品公平概率-嫉妒-自由（EFM），它是EF和EF1对混合商品集的直接泛化结果。

研究人员证明，对于任意数量的智能体，EFM 分配始终存在。他们还提出了一种有效的算法来计算两个智能体和n个智能体的EFM分配问题，并对可分割的商品进行分段线性评估。最后，研究人员放宽了对无嫉妒的要求，转而针对混合商品（-EFM）的无嫉妒属性，提出了一种算法，使得一定数量的代理和某些不可分割的商品成为可能。用过的。对于数量和1/ 的情况，求时间多项式的-EFM 分布。

算法1：EFM算法。

推荐：本文荣获AAAI 2020年度最佳学生论文奖。作者来自南洋理工大学、清华大学和香港大学。

论文4：通过近端迭代进行高效神经架构搜索

作者：Quanming Yao、Ju Xu、Wei-Wei Tu、Zhanxing Zhu 论文链接：https://arxiv.org/abs/1905.13577 摘要：神经架构搜索（NAS）以其识别比手工构建架构更好的架构的能力而闻名。注意力。近年来，可微搜索方法因其可以在几天内获得高性能NAS而成为研究热点。但由于超级网的建设，仍然面临计算成本巨大、性能低下的问题。

在本文中，我们提出了一种基于近端迭代（NASP）的高效NAS方法。与之前的工作不同，NASP 将搜索过程重新定义为具有离散约束和模型复杂性正则化器的优化问题。由于新目标很棘手，我们进一步提出了一种通过近端启发式优化的有效算法。这样，NASP不仅比现有的可微搜索方法更快，而且还可以找到更好的架构并平衡模型复杂性。最终，针对不同任务的大量实验表明，NASP 在测试精度和计算效率方面都取得了更好的性能，发现了更好的模型结构，同时比DARTS 等现有技术快了10 倍以上。此外，NASP 消除了操作之间的依赖性。

在所有这些工作中，最突出的是DARTS[1]，因为它结合了可微性和小搜索空间的优点，实现了单元内的快速梯度下降。然而，其搜索效率和识别架构的表现仍然不尽如人意。

第三步，研究人员利用相邻迭代算子生成离散结构；然后第四步，更新连续结构参数（单步梯度下降，无二阶近似）；最后，在离散网络结构下，更新网络权重。

实验结果表明，DARTS的二阶比一阶慢得多，而NASP不仅比DARTS快得多，而且还可以达到与其他最先进方法相当的测试性能。

推荐：在本周结束的AAAI 2020 上，Fourth Paradigm 提出了一种基于Proximal Iterations 的NAS 方法，速度比DARTS 快10 倍以上。

论文5：中国2019年新型冠状病毒疫情的流行病学和临床特征

作者：杨阳、路庆斌、刘明进、王一星等论文链接：https://www.medrxiv.org/content/10.1101/2020.02.10.20021675v1 摘要：近日，医学预印本平台发表了一篇名为《中国 2019 新型冠状病毒爆发流行病学和临床特征》 的论文medRxiv 上线，总结了8,866 例COVID-19 患者的临床和流行病学特征。这是迄今为止最大规模的COVID-19 肺炎临床研究。本文使用了30个省级行政单位的8866名患者的数据，其中确诊患者4021名（45.35%），其余为疑似患者。数据截至2020年1月26日[注]。这是目前样本量最大的COVID-19疫情临床回顾性研究。

本文得出以下主要结论：近一半（47.7%）的患者年龄在50岁及以上；每10万人发病率存在显着性别差异，男性为0.31，女性为0.27（P0.001）；新冠肺炎对老年男性的影响比其他群体更大，诊断率和病死率最高；重症和轻症患者比例分别为25.5%和69.9%，其余4.5%的受访者无肺炎症状；潜伏期中位数为4.75天，四分位距为3.0-7.2天；总体CFR（病死率）估计约为3.06%（95%置信区间2.02-4.59%），低于SARS-CoV（9.2%）和MERS-CoV（34.4%），死亡率为年龄60岁、男性、初诊时已发展为重症肺炎（符合一项或多项条件）的患者比例较高。 R0 值（基本再生数）估计为3.77（95% 置信区间3.51-4.05），根据潜伏期和感染期，R0 的敏感性分析范围在2.23 至4.82 之间。

病死率估计。以上均为2020年1月26日之前出现症状不足14天的病例。在这组统计过程中，d可能有5至8天不等。

年龄和性别因素对新型冠状病毒感染的影响。 A：所有患者按年龄和性别的分布； B：确诊病例； C：疑似病例。 D：按性别统计，仅限中国大陆确诊病例； E：武汉报告确诊病例； F：武汉以外地区报告确诊病例。

建议：根据研究结果，研究人员认为新型冠状病毒的传染性与SARS-CoV相似，但病死率较低。应及早发现老年患者，并在症状变得严重之前及时治疗，尤其是男性患者。但需要注意的是，该论文尚处于同行评审阶段，其结果还有待评估，不能用于指导临床实践。

论文6：Ready Policy One: 通过主动学习建设世界

作者：Philip Ball、Jack Parker-Holder、Aldo Pacchiano、Stephen Roberts 等论文链接：https://arxiv.org/pdf/2002.02693.pdf 摘要：基于模型的强化学习（MBRL）为样本提供了高效的学习，是一个经常被认为有前景的方向在连续控制任务上取得SOTA 结果。然而，许多现有的MBRL 方法依赖于贪婪策略和探索启发法的结合，甚至那些利用原则性探索奖励的方法也可以以特定方式构建双重目标。

在本文中，我们介绍了Ready Policy One (RP1)，这是一个将MBRL 视为主动学习问题的框架。研究人员的目标是用尽可能少的样本改进世界模型。 RP1 通过利用混合目标函数来实现这一目标，该函数在优化过程中的适应性至关重要，允许算法在不同的学习阶段权衡奖励与探索。此外，一旦有足够丰富的轨迹批次（trajectory batch）可用于改进模型，研究人员将引入一种原则性机制来终止样本收集。

给定时间步长10 的中值最佳性能比较提升到四次方。

RP1关键组成部分的控制变量研究。

建议：在实验阶段，研究人员在各种连续控制任务上严格评估了他们的方法，结果显示出比现有方法具有统计学上显着的优势。

论文7：BERT 真的是对文本分类和蕴涵进行自然语言攻击的强大基线吗？

作者：Di Jin，Zhijing Jin，Joey Tianyi Zhou，Peter Szolovits 论文链接：https://arxiv.org/pdf/1907.11932.pdf 摘要：众所周知，CV 领域的对抗性攻击已经被广泛研究，但NLP 领域的对抗性攻击领域文本的离散性使其难以推进。对于NLP模型来说，在人们眼中变化不大的文本会被模型区别对待，甚至误判。这些都是特别致命且迫切需要的研究方向。这是与MIT 合作的AAAI 2020 Oral 文章，自然语言对抗样本生成。我们将详细讲解如何简单高效地生成自然语言对抗样本，并高度攻击7个数据集进行文本分类和文本推理。

研究人员使用不同的数据集探索了对抗性攻击对两个重要NLP 任务的有效性：文本分类和文本蕴涵。

对于每个数据集，研究人员在训练集上训练了三个SOTA 模型，并获得了接近原始实现的测试集准确率分数。

我们的攻击系统与其他已发布系统的比较。

推荐：本文第二作者金志晶，毕业于香港大学，目前在亚马逊上海人工智能实验室做实习研究。

ArXiv 每周广播电台

机器之心与楚航、罗若天发起的ArXiv周刊广播电台合作，根据7篇论文，选出本周更重要的论文，其中包括NLP、CV、ML领域的10篇精选论文，并提供音频格式的论文。概要介绍，详细信息如下：

10 篇来自机器之心的NLP 论文00:0019:30

本周的10 篇精选NLP 论文是：

1. 使用流式注释进行训练。 （来自张同涛、纪恒、张世福、Marjorie Freedman）

2. 检测大规模语言模型生成的文本的局限性。 （来自Lav R. Varshney、Nitish Shirish Keskar、Richard Socher）

3. 句子级别命名实体链接的联合嵌入。 （来自石伟、张思源、张志伟、程洪、徐宇）

4. ConvLab-2: 用于构建、评估和诊断对话系统的开源工具包。 （朱琪、张正、方艳、李翔、隆一隆信、李金超、彭宝林、高剑峰、朱晓燕、黄敏烈）

5.口语理解系统中查询重写的预训练。 （来自陈铮、范星、凌远、Lambert Mathias、郭晨雷）

6. 探索紧急沟通中的结构性归纳偏差。 （来自Agnieszka Sowik、Abhinav Gupta、William L. Hamilton、Mateja Jamnik、Sean B. Holden、Christopher Pal）

7. 使用域传输和数据合成对低资源数据进行抽象概括。 （艾哈迈德·马古达、黛安·利特曼）

8. 学习比较以更好地训练和评估开放域自然语言生成模型。 （摘自周望春树、徐科）

9. 将视觉语义纳入扎根空间内的句子表示中。 （来自Patrick Bordes、Eloi Zablocki、Laure Soulier、Benjamin Piwowarski、Patrick Gallinari）

10. Snippext: 增强数据半监督意见挖掘。 （苗正杰、李玉良、王晓兰、陈望秋）

机器之心00:0020:34 的10 篇简历

本周的10 篇简历精选论文是：

1. 通过排名统计自动发现和学习新的视觉类别。 （来自Kai Han、Sylvestre-Alvise Rebuffi、Sebastien Ehrhardt、Andrea Vedaldi、Andrew Zisserman）

2. 用于学习3D 形状的连续测地线卷积。 （摘自Zhangsihao Yang、Or Litany、Tolga Birdal、Srinath Sridhar、Leonidas Guibas）

3.子空间胶囊网络。 （来自Marzieh Edraki、Nazanin Rahnavard、Mubarak Shah）

4. 重新审视低秩局部连通性的空间不变性。 （来自Gamaleldin F. Elsayed、Prajit Ramachandran、Jonathon Shlens、Simon Kornblith）

5. 训练数据中的性别平衡如何影响人脸识别精度。 （来自维托·阿尔比罗、张凯、凯文·W·鲍耶）

6. 带有文本指导的图像到图像翻译。 （来自李博文、齐小娟、Philip H.S. Torr、Thomas Lukasiewicz）

7. 用于自动路面裂缝检测和测量的深度卷积神经网络集合。 （范准、李冲、陈颖、Paola Di Mascio、陈小鹏、朱桂杰、Giuseppe Loprencipe）

8. PointHop++: 用于3D 分类的点集轻量级学习模型。 （来自张敏、王一凡、Pranav Kadam、刘珊、C.-C. Jay Kuo）

9. 在不确定性中寻找新奇。 （来自Jacob C. Reinhold、Yufan He、Shizhong Han、Yunqiang Chen、Dashan Gau、Junghoon Lee、Jerry L. Prince、Aaron Carass）

10. 验证医学图像翻译中的不确定性。（来自Jacob C. Reinhold、Yufan He、Shizhong Han、Yunqiang Chen、Dashan Gau、Junghoon Lee、Jerry L. Prince、Aaron Carass）

机器之心00:0019:30 的10 ML 论文

本周的10 篇精选ML 论文是：

1. 随机梯度法对非凸优化的适应性。 （来自Samuel Horvth、Lihua Lei、Peter Richtrik、Michael I. Jordan）

2. 弱监督的解开而不妥协。 （来自Francesco Locatello、Ben Poole、Gunnar Rtsch、Bernhard Schlkopf、Olivier Bachem、Michael Tschannen）

3.具有倒置点积注意力路由的胶囊。 （来自Yao-Hung Hubert Tsai、Nitish Srivastava、Hanlin Goh、Ruslan Salakhutdinov）

4. Cyclic Boosting——一种可解释的监督机器学习算法。 （菲利克斯·威克、乌尔里希·克泽尔、迈克尔·范特）

5. DynamicPPL: 用于动态概率模型的类斯坦速度。 （穆罕默德·塔里克、徐凯、马丁·特拉普、葛宏、Zoubin Ghahramani）

6.探索、发现和学习：状态覆盖技能的无监督发现。 （维克多·坎波斯、亚历山大·特洛特、熊彩明、理查德·索切尔、泽维尔·吉罗-尼托、乔迪·托雷斯）

7. 实现无不可约性的混合物比例估计。 （摘自姚宇、刘同良、韩波、龚明明、牛刚、杉山正史、陶大成）

8.关于理查森外推法在机器学习中的有效性。 （来自弗朗西斯·巴赫，SIERRA）

9.学习连续控制中转移的状态抽象。 （来自Kavosh Asadi、David Abel、Michael L. Littman）

10. 循环语言模型相对于不完整解码的一致性。 （来自Sean Welleck、Ilia Kulikov、Jaedeok Kim、Richard Yuanzhe Pang、Kyunghyun Cho）