• 相关博文
  • 最新资讯
加载中...
  • BERT的成功是否依赖于虚假相关的统计线索?

    本文介绍论文Probing Neural Network Comprehension of Natural Language Arguments,讨论BERT在ACRT任务下的成绩是否依赖虚假的统计线索,同时分享一些个人对目前机器学习尤其是自然语言理解的看法。

  • 新一届最强预训练模型上榜,出于BERT而胜于BERT

    预训练方法设计有不同的训练目标,包括语言建模、机器翻译以及遮蔽语言建模等。最近发表的许多论文都使用了微调模型,并预先训练了一些遮蔽语言模型的变体。然而,还有一些较新的方法是通过对多任务微调提高性能,结合实体嵌入,跨度预测和自回归预训练的多种变体。它们通常在更大数据上训练更大的模型来提高性能。本文的目标是通过复制、简化和更好地微调训练BERT,以作为更好理解上述方法的相对性能的参考值。 

    2019.08.05 0
  • 百度ERNIE 2.0发布!16项中英文任务表现超越BERT和XLNet

    2019 年 3 月,百度正式发布 NLP 模型 ERNIE,其在中文任务中全面超越 BERT 一度引发业界广泛关注和探讨。今天,百度发布了 ERNIE 2.0,指出其在英文任务方面取得全新突破,在共计 16 个中英文任务上超越了 BERT 和 XLNet,取得了 SOTA 效果。目前,ERNIE 2.0 代码和英文预训练模型已开源。

  • SpanBERT:提出基于分词的预训练模型,多项任务性能超越现有模型!

    本文提出了一个新的模型预训练方法 SpanBERT ,该方法能够更好地表示和预测文本的分词情况。新方法对 BERT 模型进行了改进,在实验中, SpanBERT 的表现优于 BERT 及其他基线,并在问答任务、指代消解等分词选择类任务中取得了重要进展。

  • XLNet:公平PK,BERT你已经被超过!

    几周前,XLNet团队发布了新型预训练语言模型XLNet,这个新模型在各项基准测试中都优于谷歌之前发布的BERT模型,其中模型 XLNet-Large 的数据量更是 BERT 模型的 10 倍左右。那 XLnet和BERT到底要选谁?

    2019.07.25 0
  • 追溯XLNet的前世今生:从Transformer到XLNet

    2019 年 6 月,CMU 与谷歌大脑提出全新 XLNet,基于 BERT 的优缺点,XLNet 提出一种泛化自回归预训练方法,在 20 个任务上超过了 BERT 的表现,并在 18 个任务上取得了当前最佳效果!从 BERT 到 XLNet,预训练模型在不断进步,本文将解读 XLNet 的诞生过程,回顾它的前世今生。

    2019.07.15 0
  • AI、5G、小程序、AIoT纷纷迎来高峰,下一步开发者们要怎么办?

    BERT后时代,NLP领域又将有哪些研究与技术创新?TensorFlow 2.0终于面世,是否满足你的预期?5G又将带给互联网一场怎样的变革?AIoT将迎来下一轮的风潮吗?AI技术驱动下,开发者们在小程序领域如何开拓出自己的天地?

    2019.07.09 0
  • AI、5G、小程序、AIoT纷纷迎来高峰,下一步开发者们要怎么办?

    中国的开源时代是否已经到来?BERT后时代,NLP领域又将有哪些研究与技术创新?TensorFlow 2.0终于面世,是否满足你的预期?大厂纷纷加入战局,AI芯片能否成为驱动技术应用的关键支撑?5G又将带给互联网一场怎样的变革?AIoT将迎来下一轮的风潮吗?AI技术驱动下,开发者们在小程序领域如何开拓出自己的天地?

    5G AI
    2019.07.08 0
  • 阿里达摩院刷新纪录,开放域问答成绩比肩人类水平,超微软、Facebook

    近日,由阿里巴巴达摩院语言技术实验室研发的 Multi-Doc Enriched BERT 模型在微软的 MS MARCO 数 据评测任务,Passage Retrieval Task(文档检索排序)和 Q&A Task(开放域自动问答)中双双刷新记录,均取得榜首(截止 2019 年 6 月 26 日)。

  • 刷新中文阅读理解水平,哈工大讯飞联合发布基于全词覆盖中文BERT预训练模型

    为了进一步促进中文自然语言处理的研究发展,哈工大讯飞联合实验室发布基于全词覆盖(Whole Word Masking)的中文BERT预训练模型。我们在多个中文数据集上得到了较好的结果,覆盖了句子级到篇章级任务。同时,我们对现有的中文预训练模型进行了对比,并且给出了若干使用建议。

  • 详解谷歌最强NLP模型BERT(理论+实战)

    本文从理论和编程实战角度详细的介绍 BERT 和它之前的相关的模型,包括 Transformer 模型。希望读者阅读本文之后既能理解模型的原理,同时又能很快的把模型用于解决实际问题。本文假设读者了解基本的深度学习知识包括 RNN/LSTM、Encoder-Decoder 和 Attention 等。

关于我们

关注「AI科技大本营」​

转载 & 投稿(微信):1092722531

商务合作(微信):15222814505