京东商城背后的AI技术能力揭秘 - 基于关键词自动生成摘要

与传统的文本摘要任务相比，商品摘要任务更具挑战性。一方面，商品给顾客的第一印象来自该商品的外观，这对顾客的购买决策有着至关重要的影响。因此，商品摘要系统必须能够充分挖掘商品视觉信息，反映商品的外观特色。另一方面，不同的产品有不同的卖点。例如，紧凑型冰箱的优点是节省空间，而环保型冰箱的优点是节能。因此，商品摘要应该反映商品最独特的方面，从而最大限度地促成消费者的购买。

自然语言处理

2020.04.03 0

170亿参数加持，微软发布史上最大Transformer模型

BERT和GPT-2之类的深度学习语言模型（language model, LM）有数十亿的参数，互联网上几乎所有的文本都已经参与了该模型的训练，它们提升了几乎所有自然语言处理（NLP）任务的技术水平，包括问题解答、对话机器人和文档理解等。

BERT

2020.02.13 0

微信9年：张小龙指明方向，微信AI全面开放NLP能力

围绕语音语言，微信AI首席科学家牛成公布了最新开放方案，并重磅宣布全面开放各层次 NLP 能力。具体说来，微信 AI 迈出了“三大步”：以硬件合作为核心的智言小微硬件开放平台 2.0 正式亮相；公开以对话开放能力为核心的微信对话开放平台；全面开放以自然语言处理能力为核心的 NLP 基础技术平台。

微信

2020.01.10 0

2019，不可错过的NLP“高光时刻”

对自然语音处理（NLP）领域而言，2019年是令人印象深刻的一年，本文将回顾2019年NLP和机器学习领域的重要事件。内容 主要集中于 NLP 领域，但也会包括一些与 AI 有关的有趣故事，包括新发布模型、工程成果、年度报告以及学习资源等。

自然语言处理

2020.01.07 0

机器学习模型五花八门不知道怎么选？这份指南告诉你

一般来说，基于树形结构的模型在Kaggle竞赛中是表现最好的，而其它的模型可以用于融合模型。对于计算机视觉领域的挑战，CNNs (Convolutional Neural Network, 卷积神经网络)是最适合不过的。而对于NLP（Natural Language Processing，自然语言处理），LSTMs或GRUs是最好的选择。下面是一个不完全模型细目清单，同时列出了每个模型的一些优缺点。

机器学习

2020.01.07 0

时至今日，NLP怎么还这么难！

要搞清楚自然语言理解难在哪儿，先看自然语言理解任务的本质是什么。作为人工智能关注的三大信息类型（语音、视觉、语言）之一，自然语言文本是典型的无结构数据，由语言符号（如汉字）序列构成。要实现对自然语言的表意的理解，需要建立对该无结构文本背后的语义结构的预测。

自然语言处理

2019.12.24 0

华为诺亚方舟开源预训练模型“哪吒”，4项任务均达到SOTA

BERT之后，新的预训练语言模型XLnet、RoBERTa、ERNIE不断推出，这次，华为诺亚方舟实验室开源了基于BERT的中文预训练语言模型NEZHA（哪吒），寓意模型能像哪吒那样三头六臂、大力出奇迹，可以处理很多不同的自然语言任务。

自然语言处理

2019.12.12 0

百度ERNIE登顶GLUE榜单，得分首破90大关

12月10日，百度ERNIE在自然语言处理领域权威数据集GLUE中登顶榜首，以9个任务平均得分首次突破90大关刷新该榜单历史，其表现超越微软MT-DNN-SMART, 谷歌T5、ALBERT等一众顶级预训练模型。

自然语言处理

2019.12.12 0

孙茂松：深度学习的红利我们享受得差不多了！

清华大学教授、智源首席科学家孙茂松，畅谈当前人工智能技术与产业应用发展现状和存在的问题，包括自然语言处理研究面临的瓶颈、神经网络黑箱、常识、大数据与知识等，并提出了他对于改进 AI 实用性的看法和建议。本文将提炼孙茂松教授在访谈中表达的主要观点，供读者交流。

人工智能

2019.11.22 0

孙茂松：深度学习的红利我们享受得差不多了！

2019 年 10 月 31日，在北京举行的智源大会上，清华大学教授、智源首席科学家孙茂松接受了媒体采访，畅谈当前人工智能技术与产业应用发展现状和存在的问题，包括自然语言处理研究面临的瓶颈、神经网络黑箱、常识、大数据与知识等，并提出了他对于改进 AI 实用性的看法和建议。本文将提炼孙茂松教授在访谈中表达的主要观点，供读者交流。

深度学习

2019.11.21 0

T5，一个探索迁移学习边界的模型

10月，Google 在《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》这篇论文中提出了一个最新的预训练模型 T5（Text-To-Text Transfer Transformer），其参数量达到了 110 亿，完爆 Bert Large 模型，且在多项 NLP 任务中达到 SOTA 性能。有人说，这是一种将探索迁移学习能力边界的模型，它的意义究竟是什么？潜力还有多大？

自然语言处理

2019.11.12 0

这款“狗屁不通”文章生成器火了，效果确实比GPT 2差太远

最近，一个名字相当接地气的“狗屁不通”文章生成器（BullshitGenerator）火了，截至目前 GitHub 上 Star 数已超过 3200，还上了微博热搜。这个神器可以生成各种各样奇葩文章，比如领导专用“彩虹屁”万字长文。只有你想不到，没有这个神器写不成的文章。但是，生成的文章确实也是“狗屁不通”。这次我们就来解读一下，这个生成器是怎么运行的，以此为例，延展探讨一下文本生成未来还有哪些改进的方向。

自然语言处理

2019.11.07 0

从词袋到Transfomer，NLP十年突破史

通过 Kaggle 竞赛视角，观察 NLP 十年发展简史。

自然语言处理

2019.11.07 0

情感识别难？图神经网络创新方法大幅提高性能

最近，深度学习在自然语言处理领域（NLP）取得了很大的进步。随着诸如 Attention 和 Transformers 之类新发明的出现，BERT 和 XLNet 一次次取得进步，使得文本情感识别之类的等任务变得更加容易。本文将介绍一种新的方法，该方法使用图模型在对话中进行情感识别。

自然语言处理

2019.11.07 0

周伯文对话斯坦福AI实验室负责人：下一个NLP前沿是什么？

京东集团副总裁兼人工智能事业部总裁、智源-京东联合实验室主任周伯文，斯坦福人工智能实验室负责人（SAIL）Christopher Manning，以《Next NLP Frontier After Deep Learning: A Conversation about Conversation and Beyond》为题，从语义、语境和知识，当前NLP的典型技术或应用以及以任务为导向的多轮和多模态对话三大部分出发，对下一个自然语言处理最前沿的课题展开尖峰对话。

NLP 自然语言处理

2019.11.04 0

学界观点 | NLP领域“劣币驱逐良币”，谁是罪魁祸首？

“劣币驱逐良币”的现象在很多领域都存在，包括自然语言研究领域。很多研究人员为了更容易让研究成果成功发表或获得奖项，往往会选择使用更容易走捷径的训练数据集，尽管这些数据集并不一定是最好和最合适的。本文中，阿伯丁大学计算机科学系教授和 Arria NLG 首席科学家 Ehud Reiter 就以自己的亲身经历为例，讨论了他对于这个话题的看法。

自然语言处理

2019.10.29 0

刘群：华为诺亚方舟NLP预训练模型工作的研究与应用 | AI ProCon 2019

预训练语言模型对自然语言处理领域产生了非常大的影响，在近期由CSDN主办的 AI ProCon 2019 上，自然语言处理技术专题邀请到了华为诺亚方舟实验首席科学家刘群分享了华为诺亚方舟实验室在预训练语言模型研究与应用。他从以下三个方面介绍了他们的工作：一是刚发布的中文预训练语言模型——哪吒；二是实体增强预训练语言模型——ERINE；三是预训练语言模型——乐府。

自然语言处理

2019.10.14 0

基于Go语义解析开源库FMR，“屠榜”模型外的NLP利器

这是自然语言处理业界中长久以来悬而未决的一个命题——如何合理地表示语言的内在意义？对大规模语料的暴力拟合是不是真的能让模型理解语言的语义呢？

自然语言处理

2019.09.25 0

机器推理系列文章概览：七大NLP任务最新方法与进展

自然语言处理的发展进化带来了新的热潮与研究问题，研究者们在许多不同的任务中推动机器推理（Machine Reasoning）能力的提升。基于一系列领先的科研成果，微软亚洲研究院自然语言计算组将陆续推出一组文章，介绍机器推理在常识问答、事实检测、自然语言推理、视觉常识推理、视觉问答、文档级问答、多轮语义分析和问答等任务上的最新方法和进展。

自然语言处理

2019.09.16 0

NLP这两年：15个预训练模型对比分析与剖析

在之前写过的《NLP的游戏规则从此改写？从word2vec, ELMo到BERT》一文中，介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT出现之后的这大半年的时间里，模型预训练的方法又被Google、Facebook、微软、百度、OpenAI等极少数几个玩得起游戏的核心玩家反复迭代了若干版，一次次的刷新我们这些吃瓜群众的案板上的瓜。

NLP 自然语言处理

2019.09.02 0