让我们在下面输入文本：
一、发布的重要工作清单
2019年，谷歌人工智能部门发布了一个轻量级的BERT模型——(论文：《-》)，用于情境化语言表征的自我监督学习任务。该模型的主要改进是减少冗余，更有效地分配模型的容量。该方法在12个自然语言处理任务中取得了最先进的性能。
2019年初，英伟达的研究人员发表了一篇著名的论文《风格转移》，提出了一种基于风格转移方法的可选GAN代架构。然后在论文《》中，他们对生成器的归一化过程进行了改进和重新设计。
图1:上一行是目标图像，下一行是合成图像
是2019年出版的一部很有意思的作品。它是一种基于结构化代码表示生成自然语言序列的方法。可以实现自动代码摘要和文档生成。
有没有想过为生物医学文本挖掘任务训练一个生物医学语言模型？2019年，研究人员提出了一种从生物医学文献中提取重要信息的语境化方法。
BERT发布后，脸书研究人员还发布了RoBERTa，引入了新的优化方法来改进BERT，并在各种自然语言处理基准上取得了最先进的实验结果。
脸书人工智能研究所的研究人员最近发布了一种基于全注意力层(《AugmentingSelf-attentionwithPersistentMemory》)的方法，以提高Transformer语言模型的效率。课题组还提出了用自然语言教人工智能系统如何规划的方法(《HierarchicalDecisionMakingbyGeneratingandFollowingNaturalLanguageInstructions》)。
图2:全关注层示意图
可解释性仍然是机器学习和自然语言处理领域的一个重要课题。论文《ExplainableArtificialIntelligence(XAI):Concepts,Taxonomies,OpportunitiesandChallengestowardResponsibleAI》给出了可解释性、分类标准和未来可能的研究方向的总结。
SebastianRuder在他发表的论文《NeuralTransferLearningforNaturalLanguageProcessing》中提出了自然语言处理中的神经迁移学习。
一些研究人员开发了一种对话语境下的情感识别方法《EmotionRecognitioninConversationswithTransferLearningfromGenerativeConversationModeling》，可以实现情感对话生成。另一个相关的工作，《DialogueGCN:AGraphConvolutionalNeuralNetworkforEmotionRecognitioninConversation》，使用一种叫做DialogueGCN的图形神经网络方法来检测对话中的情绪。
谷歌的人工智能量子计算团队在《自然》杂志上发表了一篇论文《Quantumsupremacyusingaprogrammablesuperconductingprocessor》，声称开发了一种比世界上最大的超级计算机更快的量子计算机。
如上所述，可解释性是神经网络体系结构领域中需要大量改进的领域之一。论文《AttentionisnotnotExplanation》讨论了在语言建模中使用注意机制作为可靠的可解释性手段的局限性。
《NeuralLogicMachines》本工作提出了一种“神经-符号”网络架构，可以在归纳学习和逻辑推理方面取得良好的性能。该模型在数组排序和寻找最短路径方面表现良好。
图3:神经逻辑机的体系结构
论文《OnExtractiveandAbstractiveNeuralDocumentSummarizationwithTransformerLanguageModels》将Transformer语言模型应用到神经文档摘要的抽取和抽象任务中。
在论文《BuildingMachineLearningModelsviaComparisons》中，研究人员还开发了一种方法，重点是通过比较来建立和训练机器学习模型。这种技术不需要大量的“特征-标签”数据对，而是将图像与模型之前看到的图像进行比较，以确定图像是否应该被赋予某个标签。
NelsonLiu和他的研究伙伴发表了一篇论文《LinguisticKnowledgeandTransferabilityofContextualRepresentations》，讨论了通过预先训练的语境模型(如BERT和ELMo)获得的语言知识类型。
XLNet是一种针对自然语言处理任务的预训练方法，在20个任务上比BERT有进一步的改进。这项杰出工作的总结见：https://medium.com/dair-ai/xlnet-performations-Bert-on-serial-NLP-tasks-9ec 867 bb 563 b。
DeepMind的论文“学习和评估”
eneralLinguisticIntelligence》报告了一项广泛的实证研究的结果，旨在评估应用于各项任务的语言理解模型。这项广泛的分析对于更好地理解语言模型获取的内容非常重要，从而提高它们的效率。VisualBERT是一种简单而鲁棒的框架，用于为「视觉-语言」任务（包括VQA和Flickr30K等）建模。该方法利用了堆叠的Transformer层以及注意力机制，来对齐文本片段中的元素和图像的区域。
《ToTuneorNottoTune?AdaptingPretrainedRepresentationstoDiverseTasks》通过详细的分析对比了各种自然语言处理中的迁移学习方法，并给出了对自然语言处理从业人员的建议。
AlexWang和Kyunghyun在《BERThasaMouth,andItMustSpeak:BERTasaMarkovRandomFieldLanguageModel》提出了一种能够生成高质量、流畅的语言的BERT实现。
Facebook的研究人员发布了「XLM」的PyTorch实现代码（https://github.com/facebookresearch/XLM），这是一种用于跨语言模型预训练的模型。
《RLinNMT:TheGood,theBadandtheUgly》对用于神经机器翻译的强化学习算法进行了全面的分析。
在JAIR上发表的综述论文《ASurveyofCross-lingualWordEmbeddingModels》中，对跨语言词嵌入模型的训练、评估和使用进行了全面的概述。
Gradient平台发表了一篇优秀的博文「ThePromiseofHierarchicalReinforcementLearning」，详细说明了目前强化学习的局限性，也给出了一条通过分层强化学习解决这些问题的潜在出路。
很快，一些人也发布了一系列优秀的强化学习入门教程（https://github.com/araffin/rl-tutorial-jnrr19/blob/master/1_getting_started.ipynb）。
论文《ContextualWordRepresentations:AContextualIntroduction》简要介绍了语境化词表征方法。
二、ML/NLP有哪些有创意和社会性的研究？
机器学习技术已经被广泛用于解决现实世界中的问题，但另一方面，人们也通过一些有趣和富有创意的方式使用机器学习。机器学习创意和人工智能领域中其它类型的研究同样重要，因为归根到底，我们希望的是构建能够帮助我们塑造文化和社会的人工智能系统。
2019年底，GaryMarcus和YoshuaBengio针对深度学习、符号人工智能和混合人工智能系统进行了激烈的辩论。
《2019人工智能索引报告》最终发布了，它全面分析了人工智能的现状，可以让读者更好地了解人工智能领域的总体进展。
常识推理仍然是一个重要的研究领域，因为我们想要构建的人工智能系统，不仅仅要能够根据拥有的数据进行预测，还要能够理解并对这些决定进行推理。这种技术可以被用于人工智能对话系统，旨在使智能体可以与人类进行更加自然的对话。NasrinMostafazadeh在一篇《TheArtOfAIStorytelling:HowOne30Under30ScientistIsTeachingDevicesToMakeAssumptions》采访文中，针对尝试推理及其应用展开了讨论，其应用涉及故事描述和语言理解。
你还可以参阅论文《ExplainYourself!LeveragingLanguageModelsforCommonsenseReasoning》，看看如何利用语言模型进行常识推理。
激活地图集是由谷歌和OpenAI的研究人员开发的一项技术，旨在更好地理解并可视化神经网络中神经元之间发生的交互。
图4：InceptionV1分类网络的激活地图集显示出了许多完全被实现了的特征（例如，电子产品、建筑物、食物、动物耳朵、植物和水的背景）
此外，2019年图灵奖获得者GeofferyHinton和YannLeCun发表的获奖演讲（地址：https://fcrc.acm.org/turing-lecture-at-fcrc-2019）也值得一读，分享图灵奖这一殊荣的还有YoshuaBengio。
论文《TacklingClimateChangewithMachineLearning》讨论了利用机器学习处理气候变化问题。
OpenAI发表了一份内容丰富的报告《ReleaseStrategiesandtheSocialImpactsofLanguageModels》，讨论语言模型对社会的影响，包括有益的使用和潜在的技术滥用现象等主题。
情感分析技术仍然被广为使用。Mojifier是一个很酷炫的项目，它可以通过观察一幅图像检测到其中的情感，并使用与检测到的情感相匹配的表情替换人脸。
使用人工智能技术开展影像学研究也是2019年的一大趋势。论文《Radiologicalimagesandmachinelearning:trends,perspectives,andprospects》很好地总结了这一研究领域的发展趋势和前景。
纽约大学的研究人员还发布了一个PyTorch实现的深度神经网络，用于提升影像学专家在乳腺癌筛查中的工作表现（详细可参考：https://medium.com/@jasonphang/deep-neural-networks-improve-radiologists-performance-in-breast-cancer-screening-565eb2bd3c9f）。MIMIC-CXR是一个重要的数据集，它包含胸部X光片和影像学文本报告的数据库。
纽约时报撰写了一篇关于KarenSparkJones的文章（https://www.nytimes.com/2019/01/02/obituaries/karen-sparck-jones-overlooked.html），回忆她对自然语言处理和信息检索做的开创性贡献。
OpenAIFive成为第一个在电子竞技比赛中击败世界冠军的人工智能系统（https://openai.com/blog/openai-five-defeats-dota-2-world-champions/）。
《全球人工智能人才报告》给出了世界范围内人工智能人才库和全球人工智能需求的详细报告。
DeepMind团队开设了一个非常棒的播客（地址：https://deepmind.com/blog?filters=%7B%22category%22:%5B%22Podcasts%22%5D%7D），订阅者可以讨论最前沿的人工智能话题。
在人工智能的潜力方面，DemisHassabis接受了「经济学人」的采访（https://worldin.economist.com/article/17385/edition2020demis-hassabis-predicts-ai-will-supercharge-science?utm_medium=prutm_source=inf-autm_campaign=worldin），在采访中他谈到了一些具有未来主义的想法，比如利用人工智能扩展人类的思维，也许可以为重要的科学问题寻找解决方案。
2019年，机器学习在健康领域的应用也取得了重大的进展。例如，马萨诸塞州的研究人员研发出了一种可以像人类一样准确地发现脑出血的人工智能系统（https://venturebeat.com/2019/01/04/massachusetts-generals-ai-can-spot-brain-hemorrhages-as-accurately-as-humans/）。
图5：通过人工智能系统分析得到的脑部扫描结果
JanelleShane总结了一组「奇怪」的实验，展示了机器学习如何以有创意的方式进行有趣的实验。有时，这种实验需要真正理解人工智能系统到底在做什么（和没有做什么）。其中的一些实验包括生成「假蛇」图像和讲笑话。
图6：蛇的种类
《Earthtoexoplanet:Huntingforplanetswithmachinelearning》一文尝试使用TensorFlow平台上构建的机器学习模型寻找行星。
OpenAI在《BetterLanguageModelsandTheirImplications》一文中讨论了发布大规模无监督语言模型的影响（包括潜在的恶意用例）。
一篇名叫《UsingNucleusandTensorFlowforDNASequencingErrorCorrection》的Colab笔记本针对如何将Nucleus和TensorFlow用于「DNA序列纠错」给出了一个很棒的间接。关于使用深度学习架构进行DNA探索的更多细节，请参阅博文：https://blog.floydhub.com/exploring-dna-with-deep-learning/
图7：我们将基于共识的DNA序列纠错任务形式化定义为一个多类别分类问题。通过使用Nucleus，我们构建了一个基因组范围内的归一化碱基技术矩阵。TensorFlow让我们可以训练能够训练一个神经网络，来预测位于窗口中间位置的正确碱基。
AlexanderRush是一名哈佛大学的自然语言处理研究者，他撰写了一篇关于张量问题的重要文章《TensorConsideredHarmful》，并指出了现有的库怎样暴露出了这些问题。他还提出了关于张量索引命名的建议。
三、ML/NLP工具和数据集
这部分将重点介绍与软件和数据集相关的事件，它们对自然语言处理和机器学习的研究和工程大有助益。
HuggingFace发布了一种广受欢迎的基于PyTorch的Transformer程序库「pytorch-transformers」。它让许多自然语言处理从业人员和研究者们可以轻松地使用最先进的通用框架（例如，BERT、GPT-2和XLM等）。如果你对如何使用pytorch-transformers感兴趣，请参阅RobertoSilveira的教程（https://rsilveira79.github.io/fermenting_gradients/machine_learning/nlp/pytorch/pytorch-transformer-squad/），该教程介绍了如何使用该库进行机器理解。
相关阅读
版权声明：内容来源于互联网和用户投稿 如有侵权请联系删除
标签： #事件热门博客列表