历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
2
-
浏览
361
-
获赞
515
热门推荐
-
New Balance(新百伦)2019 全新系列跑鞋上架发售,大胆的设计风格
潮牌汇 / 潮流资讯 / New Balance新百伦)2019 全新系列跑鞋上架发售,大胆的设计风格2019年08月19日浏览:3066 近年来跑鞋品牌 New Ba西夏到底有多强?为何拥有几十万大军的辽国都未能消灭?
在宋朝统治期间,北方一直有一个强敌,那就是北方的大辽国。在11世纪的东亚地区,辽国是最强大的国家。虽然宋朝在经济上能够秒杀辽国,但是在军事上一直被辽国暴打。即便是后起之秀的西夏国,也不敢和辽国正面对抗有钱能摆平高中生被砍吗?
2011年10月8日下午6点左右,长春高中生吴天昊打篮球时和另一方发生争执,被对方父母找来的数十人围殴并砍断双手后,不治身亡。据吴天昊表姐康凯介绍,吴的父母均无工作,丧子后精神几近失常,吴父一度心脏病明朝著名的“红丸案”是哪位皇帝?为何会成为一桩悬案?
今天要讲的是明朝的一件悬案,古时候的封建王朝因为科学知识的认知不足,所以非常迷信鬼神之说。从三皇五帝的上古时代开始,到晚清最后一任皇帝退位结束,这个封建蒙昧的思想一直持续了五千多年,其中最具代表性的就7000万镑!利物浦再遭打击,水晶宫抬价出售杜库雷,克洛普太难了
由于没能在竞争当中取得优势,利物浦在凯塞多和拉维亚的交易当中全部输给了切尔西,球队也不得不紧急从德甲签下了日本后腰远藤航。不过,此前我们也曾经聊过远藤航的问题,利物浦并不会给到他全部的信任,他们在中场北京故宫搞预约参观不能操之过急
景志强据北京市假日办统计数据,10月2日,故宫共接待游客12.78万人,10月3日,故宫接待游客11.96万人,这两个数字都远远超过了国庆前夕故宫对外公布的每日8万人限流数量。有专家建议,故宫应预约参王烁非法持枪 不要留下“特权”猜想的尾巴
近日,有网友爆料说,去年底王府井军车被烧事件的嫌疑人是被称作“京城四少”之一的王烁,并贴出检察院起诉书副本称其因涉嫌非法持有枪支、弹药罪和故意损坏财物罪被公诉至东城法院,目前正在取保候审中。对此,昨日北宋时期的杨家将真的存在吗?为何与影视作品有明显的差距?
北宋杨家将真的存在吗,这是很多读者都比较关心的问题,下面趣历史小编就为大家带来详细的介绍,一起来看看吧!一、杨家将到底是不是真实存在的呢?在很多人眼中,传说、演义与历史经常会傻傻的分不清,但关于杨家将记者:雷恩关注林德洛夫,但球员和曼联都无意进行该交易
据推特消息,记者Fabrice Hawkins透露,雷恩一直在关注林德洛夫,他是法国球队引援名单上排名前列的人选,但这桩交易很复杂,因为瑞典国脚在曼联很开心。罗马诺表示,林德洛夫并不想将雷恩作为下一站乔布斯辞世,iSad之余更要ido
苹果原CEO史蒂夫乔布斯的去世引发了全球民众悼念热潮,不少网民在互联网上依照苹果品牌造出一个新词iSad(我悲伤),以示对这位天才的哀思。乔布斯曾说:“活着就是为了改变世界。”他做到了,他用一种美妙的拼爹时代 无处安放的焦虑
“这是一个拼爹的时代,国产四大名爹:李刚、王军、卢俊卿、李双江,总有一款你拼不起。”此言一出即受到网民的热烈追捧,在微博上迅速蹿红。这一言论的直接导火索,是李双江15岁的儿子无照驾驶宝马车打人事件。对袁崇焕是怎么培养出关宁铁骑的?明朝灭亡的原因是什么?
袁崇焕时代关宁军为关外7万余关内4万,合计十一万。虽然被称为关宁铁骑,骑兵也就是万余上下。所费钱粮甚巨有一个重要原因是关外缺粮,粮价可能高达内地的五倍,真要按内地的粮价法饷,就是足饷都会饿死人。关宁军菲董 x adidas Originals 全新联名「PROUD」系列鞋款发售信息公布
潮牌汇 / 潮流资讯 / 菲董 x adidas Originals 全新联名「PROUD」系列鞋款发售信息公布2019年08月20日浏览:4931 上月,由 Phar既然宋朝时期的神臂弩这么厉害,为什么还会被金国灭亡?
中国古代作为世界上首屈一指的大国,有许多领先于世界的文化艺术和科学技术,让世界所瞩目。曾经的中国依赖于这些发达的技术,影响了世界各国,即使在近代以来,中国地位的下降,昔日的中国对其他文明的影响依然存在耶律阮成为辽国的皇帝,那他的皇位是合法继承还是来路不顺?
947年5月15日,辽太宗耶律德光病逝于栾城(今河北省栾城县)。次日,永康王耶律阮即皇帝位于柩前,是为辽世宗。然而,令人颇感不解的是,辽世宗并非太宗的儿子,而是侄子。太宗本人共有五子,当时还全都在世,