历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
914
-
浏览
3276
-
获赞
36
热门推荐
-
英媒:切尔西可能在夏窗关闭前签下伊万
8月30日讯 《独立报》报道,切尔西可能在夏窗关闭前签下布伦特福德前锋伊万-托尼,但布伦特福德方面为这名球员标价8000万英镑。虽然因为参与足球投注而被禁赛八个月,并且要等到明年1月才能复出,但伊万-布局核“芯”动力 雷沃牵手斗山加速核心零部件全球化布局
对于一辆汽车来说,好的发动机是必不可少的,农业装备机械、工程机械等非道路行走机械同样也不例外,发动机就相当于是它们的心脏,它能够给车辆提供动力,发动机的好坏直接影响了整车的性能和操纵体验。3月29日,洛克王国最强宠物大揭秘,谁是你心中的宠物之王?
洛克王国最强宠物因官方更新和玩家个人喜好不同而各有不同,以下是一些推荐的最强宠物1. 觉醒大天使:是第一只觉醒宠物,开拓了觉醒战场,几乎彻底击溃了之前以圣藤草王为首的催眠控场流宠物。2. 海盈水王:具荣耀:有关荣耀借壳上市谣言不实
【资料图】近日,“荣耀借壳上市”猜想在资本市场引发炒作,相关概念股掀起涨停潮。12月5日晚间,荣耀公开回应称,有关荣耀借壳上市谣言不实。荣耀一直坚持公开透明的发展原则,也会持续多元化股权结构。当前荣耀陈冠希潮牌 CLOT 全新 JUICE THE BOX 概念店铺即将开幕
潮牌汇 / 潮流资讯 / 陈冠希潮牌 CLOT 全新 JUICE THE BOX 概念店铺即将开幕2019年08月20日浏览:5372 不久前,由陈冠希主理的潮牌 CL交行莱芜二路支行:用心服务打造温馨交行
中国山东网青岛6月29日讯交通银行青岛莱芜二路支行在加强渠道建设,厅堂环境、业务办理流程优化的同时,注重提升服务内涵,力争以优质用心的服务来赢得客户,让客户体验不断得到提升。交行莱芜二支行一直以打造优原油交易提醒:以色列撤军,埃及再办停火谈判,油价跳空下跌逾2%,布油失守90关口
汇通财经APP讯——油价周一4月8日)在亚洲早盘交易中下跌逾2%,因为在以色列从加沙南部撤出更多士兵并承诺就可能的停火进行新的谈判之后,中东的紧张局势有所缓解。布伦特原油目前下跌2.46%,交投于88爱家一百家电清洗加盟有前途吗 绝好口碑备受关注
在我国,每个家庭都要拥有好几台家电,有些家电真的很难清洗,这让人们很烦恼。爱家一百家电清洗加盟有前途吗?它有很神奇的清洗效果,能够有效的延长家电使用寿命,而且在清洗过程中,不会对家电造成任何的损坏,因耐克 2019 Doernbecher Freestyle 慈善鞋款系列发售日期揭晓
潮牌汇 / 潮流资讯 / 耐克 2019 Doernbecher Freestyle 慈善鞋款系列发售日期揭晓2019年08月13日浏览:2856 2003 年开启的意甲联盟公布2010/11赛季日程安排
米兰时间2月5日,意甲联盟在米兰举行的会议上做出了关于2010/11赛季日程的决定。2010/11赛季意甲联赛将于2010年8月29日开始,到2011年5月22日结束。2010/11赛季意大利杯决赛将米体:米兰已与奇克达成协议,与切尔西的分歧已经很小
6月26日讯 据《米兰体育报》报道,米兰已经与奇克达成协议。报道称,米兰距离签下奇克只有一步之遥,经过努力,米兰已经与奇克本人达成了协议。俱乐部层面,米兰与切尔西进行了接触,现在双方对转会费的分歧已经《最美合福》一书正式出版
12月26日,记录中国中铁建设合福高铁奋斗历程的《最美合福》一书由企业管理出版社正式出版。合福高铁起于安徽合肥,止于福建福州,全长810多公里,2015年6月正式通车,被誉为中国“最美高铁”。中国中铁漫雅时尚服装批发(漫雅度假酒店)
漫雅时尚服装批发漫雅度假酒店)来源:时尚服装网阅读:1606北京衬衫批发市场在哪里1、根据2019年12月份看,北京大红门那一片的衣服便宜质量又好。2、北京世纪天乐国际服装批发市场,地址:西城区西直门曝朗尼克希望曼联加入特殊条款 若成绩达标即转正
曝朗尼克希望曼联加入特殊条款 若成绩达标即转正_主帅_本赛季_合同www.ty42.com 日期:2021-11-27 09:01:00| 评论(已有316094条评论)中铁十局青岛公司被授予“省级文明单位”荣誉称号
近日,中铁十局青岛公司顺利通过山东省文明单位创建工作检查验收,被授予“省级文明单位”荣誉称号。近年来,青岛公司结合企业实际情况,始终创新开展文明创建工作,坚决贯彻落实文明单位创建各项要求,通过抓好宣传