• 相关博文
  • 最新资讯
加载中...
  • 使用大batch优化深度学习:训练BERT仅需76分钟 | ICLR 2020

    作者的实验结果证明了LAMB在各种任务(例如BERT和RseNet-50训练)中可以表现的非常出色,且仅需调整少量的超参数。重要的是,对于训练BERT,本文的优化程序可以使用非常大的32868 batch大小,而且不会降低性能。通过将批处理大小增加到TPUv3 Pod的内存限制,BERT的训练时间可以从3天减少到只有76分钟(可以见后面的表1)。LAMB的实现已经开源。

    2020.04.07 0
  • 2019年上万篇论文发表,这14篇备受瞩目的论文,你都了解吗?

    人工智能领域每年发表超过14,000篇论文。这个领域吸引了全球多个重量级的研究小组。诸如NeurIPS,ICML,ICLR,ACL和MLDS之类的AI会议每年都会吸引大量的论文。2019年,论文提交的数量还在增加。今天,我们将分享 2019 年备受关注的 14 篇论文。

    2019.12.30 0
  • ICLR 2020被爆半数审稿人无相关领域经验,同行评审制度在垮塌?

    近日,英伟达机器学习研究负责人 Animashree Anandkumar 在推特上向 ICLR 2020 的同行评议审稿人开炮。她称,每个即将到来的 AI 会议的同行评议质量都在变差。我们的 #ICLR 2020 审稿人的评分有极大的差距(8 分和 1 分),评分较低的审稿人太令人讨厌和痛心了。这就像他们在参加战斗并想要破坏竞争一样。这不健康,还有哪些替代选择吗?

    2019.11.08 0
  • 真正的博士是如何参加AAAI, ICML, ICLR等AI顶会的?

    在刚刚过去的ICML 大会上,来自布朗大学计算机科学的博士生详细整理了一份87页的ICML大会笔记,包括Tutorials, Main Conference, Workshops的会议内容和论文干货,并进行公开分享,随后学术界的朋友们开始转发收藏。

  • ICLR 2019最佳论文揭晓!NLP深度学习、神经网络压缩夺魁 | 技术头条

    ICLR 是深度学习领域的顶级会议,素有深度学习顶会 “无冕之王” 之称。今年的 ICLR 大会将于5月6日到5月9日在美国新奥尔良市举行,大会采用 OpenReview 的公开双盲评审机制,共接收了 1578 篇论文:其中 oral 论文  24 篇 (约占 1.5%),poster 论文共 476 篇 (占30.2%)。在这些录用的论文中,深度学习、强化学习和生成对抗网络 GANs 是最热门的三大研究方向。