极具价值的教育培训与互动学习平台

谷歌发布问答系统新语料,同时发布相关挑战赛

2019-01-28 15:55:19 投稿人 : haixia002 围观 : 57592 次 0 评论

  雷锋网 AI 科技评论按,1 月 23 日,谷歌人工智能语言研究科学家 Tom Kwiatkowski 和 Michael Collins 在 Google AI Blog 上发布了一篇博文,宣布发布一个新的大规模训练和评估开放领域问答系统的语料库 Natural Questions (NQ),旨在推动人们开发出更有效、更强大的问答系统。

  开放域问答(QA)是自然语言理解(NLU)中的一项基准任务,旨在模拟人们如何寻找信息,通过阅读和理解整个文档来找到问题的答案。给出一个用自然语言表达的问题(「为什么天空是蓝色的?」)一个问答系统应该能够阅读网页(比如这个维基百科页面)并返回正确的答案,即便这个答案有点复杂和冗长。然而,目前还没有大量公开的可用于训练和评估问答模型的自然生成问题(如人们寻求信息时提出的问题)及答案。这是因为,为了回答问题而收集一个高质量的数据集,不仅需要大量真实的问题源,还需要大量的人力才能找到正确的答案。

  为了推动问答系统的研究进展,他们很高兴地发布自然问题(Natural Questions,NQ),这是一个新的大规模训练和评估开放领域问题回答系统的语料库,它第一个复制了人们找到问题答案的端到端流程。NQ 很大,由 30 万个自然发生的问题以及维基百科页面上的人工注释答案组成,它们可以被用于训练问答系统。他们还包括 16000 个由 5 个不同的注释员标注了答案(对同一个问题)的例子,这有助于评估经过训练的问答系统的性能。对于计算机来说,回答琐事是很容易的。由于在 NQ 中回答问题需要比回答琐事对问题有更深入的理解,基于这些数据他们还组织了一次竞赛,以帮助推动计算机自然语言理解这项研究的进展。雷锋网(公众号:雷锋网)

  数据

  NQ 是首先使用自然发生的查询的数据集,它专注于通过阅读整个页面而不是从短段落中提取答案来查找答案。为了创建 NQ,他们从用户向谷歌搜索引擎提出的真实、匿名、聚合的查询开始。然后,他们要求注释员通过阅读整个维基百科页面来找到答案,就像问题是他们自己提出来的一样。注释员寻找包含推断答案所需的所有信息的长答案,以及简洁地用一个或多个词语回答问题的短答案。NQ 语料库中注释的准确度高达 90%。

  NQ 旨在使问答系统能够阅读和理篇整个维基百科文章,这些文章可能包含问题的答案,也可能不包含问题的答案。首先,系统需要确定问题是否定义得足够好,可以回答——许多问题都包含错误的假设,或者描述太模糊,无法简明地回答。然后,他们需要确定维基百科页面中是否有任何部分包含推断答案所需的所有信息。他们认为,长答案识别任务——找到推断答案所需的所有信息——需要比在知道长答案后找到短答案更深入的语言理解水平。

谷歌发布问答系统新语料,同时发布相关挑战赛

  他们的论文「Natural Questions: a Benchmark for Question Answering Research」,已在计算语言学协会学报上发表,文章对数据收集过程进行了全面的描述。要从数据集中查看更多示例,请访问 NQ 网站。

  挑战赛

  自然问题有一个 7842 个示例的盲测试集,其格式与发布的开发集完全相同。在此页面上创建一个配置文件以在测试集上运行模型,并查看它们的性能。为了保持测试集的完整性,每个团队每周只允许提交一次。你们可以在他们提供的 200 个示例 dev set 上运行测试。这个不限制次数。

  要提交一个模型,您应该创建一个 Docker 映像,并按照 NQ 的 Github 页面上的说明将其上传到谷歌云存储库。

  上传图像后,请登录此页面以显示提交表单。选择要显示在 NQ 排行榜上的模型名称,以及将在个人主页上显示的标签。

  他们希望 NQ 的发布以及相关的挑战赛将有助于推动大家开发出更有效、更强大的 QA 系统。他们鼓励 NLU 社区参与并帮助缩小当前最先进方法与人类上限之间的巨大差距。请访问挑战赛网站,查看排行榜并了解更多信息。

  via:https://ai.googleblog.com/2019/01/natural-questions-new-corpus-and.html

  雷锋网

  雷锋网版权文章,未经授权禁止转载。详情见转载须知。

https://www.leiphone.com/news/201901/3OR6uXddV5iGWBsX.html

来源:育学天下,转载请注明作者或出处,尊重原创!

相关文章

  • “靓音教育”成为福建电视台2020“品牌福建”新春贺岁互动合作伙伴
    “靓音教育”成为福建电视台2020“品牌福建”新春贺岁互动合作伙伴

    海峡头条携手福建省电视台邀请全省优质企业录制新春贺岁片。“靓音教育”从同行业中脱颖而出,入围贺岁企业名单。同时,贺岁视频在福建电视台经济频道强档栏目《品牌福建》黄金时段播出。厦门靓音教育(咨询)有限公司旗下店铺靓音琴行艺术中心,是一家拥有钢...

    2020-01-14 14:07:15
  • “敏试教育”成为福建电视台2020“品牌福建”新春贺岁互动合作伙伴
    “敏试教育”成为福建电视台2020“品牌福建”新春贺岁互动合作伙伴

    海峡头条携手福建省电视台邀请全省优质企业录制新春贺岁片。“敏试教育”从同行业中脱颖而出,入围贺岁企业名单。同时,贺岁视频将在福建电视台经济频道强档栏目《品牌福建》黄金时段播出。厦门敏试教育咨询有限公司是一家专注于教师资格证辅导培训和教师招聘...

    2020-01-07 13:50:11
  • 传下代iPhone将定制ToF相机,可模拟人眼,增强AR体验
    传下代iPhone将定制ToF相机,可模拟人眼,增强AR体验

      明年的下代iPhone将会增加ToF相机,从而提升AR和拍照体验已不是什么新闻,但苹果对于ToF相机的用法却可能与当前其他厂商存在较大的差异。根据来自产业链人士披露的消息称,苹果将会借助定制CMOS的方式模拟人眼功能。虽然暂时不清楚将来...

    2019-12-03 10:03:28
  • 潜行类VR动作游戏《Phantom》发布最新预告片
    潜行类VR动作游戏《Phantom》发布最新预告片

      11月29日青亭网报道,今天Oculus发布官方博客,公布了此前于5月份宣布的潜行身类VR动作游戏《Phantom:Covert Ops》的最新预告片。  据了解,该作由nDreamsk开发,将同时支持Rift与Quest,此前预计...

    2019-12-02 14:21:52
  • 线下VR游戏《星际迷航》:一款适合团建的刺激太空枪战体验
    线下VR游戏《星际迷航》:一款适合团建的刺激太空枪战体验

      上个月,线下VR品牌Sandbox VR与CBS合作,推出了新款VR游戏《星际迷航:发现号Away Mission》。据悉,该作的故事背景设置在联邦星舰发现号中,玩家将作为星舰军官,在同名电视剧中人物Sylvia Tilly军官(原版演...

    2019-12-02 14:17:54
  • 下一代苹果手机或全部采用OLED屏,渗透率有望加速提升
    下一代苹果手机或全部采用OLED屏,渗透率有望加速提升

      外媒称,苹果将推出3款iPhone分别为5.4寸、6.1寸、6.7寸。该报告称,苹果计划向三星采购5.4寸和6.7寸的屏幕,与iPhone11Pro和iPhone 11 Pro Max同样采用OLED技术,另外6.1寸的OLED...

    2019-11-29 16:28:52
  • 传亚马逊已研发出第二代AI芯片,比第一代至少快20%
    传亚马逊已研发出第二代AI芯片,比第一代至少快20%

      2019 年 11 月 28 日,据路透社报道,亚马逊公司旗下云计算部门 AWS 设计出性能更强的第二代数据中心处理器芯片。如果消息属实,该芯片将帮助亚马逊降低对 Intel 、AMD 服务器芯片的依赖。  有消息人士称,AWS 的...

    2019-11-29 16:26:16
  • 《半条命VR》效果明显,Valve Index美国和加拿大售罄
    《半条命VR》效果明显,Valve Index美国和加拿大售罄

      在V社上周公布《半条命》VR独占游戏《半条命:Alyx》之后,外媒报道称V社自家VR——Index已经在美国和加拿大卖断货。  Steam上推出的Index套装售价999美元,包括以下内容:VR头盔,Index手柄,两个基站(定位器)和...

    2019-11-29 10:25:57
  • 三星Galaxy S11带壳渲染图曝光:矩阵相机/1亿像素 还有骁龙865
    三星Galaxy S11带壳渲染图曝光:矩阵相机/1亿像素 还有骁龙865

      11月27日消息,知名爆料人士Slashleaks放出了Galaxy S11的带壳渲染图——和此前曝光的渲染图一致,Galaxy S11采用了矩阵式摄像头造型。而规格方面,Galaxy S11 5G和Galaxy S11+会搭载一亿...

    2019-11-28 17:05:10
  • Insomniac推第二款Magic Leap游戏《Strangelets》
    Insomniac推第二款Magic Leap游戏《Strangelets》

      11月27日消息,前不久曾被索尼收购的游戏公司Insomniac Games开发的新AR游戏《Strangelets》登陆Magic Leap World。据悉,Insomniac此前曾开发PS 4游戏《漫威蜘蛛侠》,以及多款AR/VR...

    2019-11-27 15:00:55
发表评论