历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
4
-
浏览
69659
-
获赞
695
热门推荐
-
INDICE STUDIO 2019 秋冬系列「Abracadabra」型录发布
潮牌汇 / 潮流资讯 / INDICE STUDIO 2019 秋冬系列「Abracadabra」型录发布2019年08月21日浏览:3285 日前,来自台湾时装品牌I冬季打底袜怎么选择 冬天怎么穿打底袜
冬季打底袜怎么选择 冬天怎么穿打底袜时间:2022-05-14 11:47:03 编辑:nvsheng 导读:提到冬季搭配,打底袜一定是使用最频繁的单品之一,但是打底袜颜色、弹力都各有不用,如何挑迪奥润唇膏怎么样 迪奥润唇膏和口红的区别
迪奥润唇膏怎么样 迪奥润唇膏和口红的区别时间:2022-05-13 12:04:10 编辑:nvsheng 导读:迪奥是国际大牌,在我们平时生活中,经常可以看到有人使用迪奥的产品,迪奥润唇膏可以全刘备称雄一生,为何败给了江东鼠辈?
刘备一生可称为枭雄,从白手起家,到三分天下有其一,人生的起承转合、文韬武略,非一般人所能比,连曹操都对他刮目相看,时时处处都提防着刘备,担心刘备有朝一日成为心腹大患,果不其然,放了刘备走之后,刘备逐渐2D格斗游戏《星之翼:梦幻赛场》Steam页面上线 2025年发售
发行商DMM Games、Shiravune以及开发商Aquaplus宣布,2D格斗游戏《星之翼:梦幻赛场》AQUAPAZZA:Aquaplus Dream Match)将于2025年登陆Steam,山西空管分局塔台管制室组织开展安防专项培训
通讯员 韩永禛)为响应华北空管局安防要求,强化全员空防安保意识,确保重点单位的绝对安全,山西空管分局塔台管制室近期组织全体人员开展安防专项培训。此次培训不仅从思想上提高了全员的安防意识,更落实到工作流完颜雍乌林荅氏经历生死 皇帝完颜雍为她一生不立皇后
古代封建社会,皇帝是至高无上的存在,所以大家都会说皇上是一个多情的种子。但是,其中也有那些一生都忠于爱情的情痴皇帝,至少可以说,在皇帝的心中只属于一个女人。我们今天来说的这个皇帝是被史书称为小尧舜的金山西空管分局顺利通过太原一二次雷达更新工程行业验收
通讯员 张媛 崔军)2021年9月15日,山西空管分局迎来了太原一二次雷达更新工程的行业验收。经过验收小组成员的认真评审和把关,该项目顺利通过了行业验收。此次行业验收工作由民航华北管理局组织,华北空管奎爷演员澄清《战神》将发新公告:绝对不是这样
近日,《战神》系列主角奎托斯的演员Christopher Judge发文称,未来两周将会有大量新公告发布,这让不少玩家猜测可能与《战神》系列有关,特别是在《战神》三部曲重制版的消息传出之后。不过现在,兰蔻菁纯系列有几款面霜 兰蔻菁纯面霜滋润型和清爽型
兰蔻菁纯系列有几款面霜 兰蔻菁纯面霜滋润型和清爽型时间:2022-05-14 11:44:51 编辑:nvsheng 导读:兰蔻菁纯系列是兰蔻家很火的一个系列,兰蔻菁纯系列主打滋养修复肌肤,很适合齐桓公为什么竟然让有一箭之仇的管仲治国?
齐桓公与管仲的故事很为人称赞,其中的曲曲折折我们已经讲述过很多,的确在春秋乱世中,各方诸侯都在极力拉拢人才,他们网罗各方人才成就自己的霸业,期待在各国征战中分一杯羹,这就造就了春秋时期人才的大规模流动miumiu香水是哪国的 miumiu缪缪香水香评
miumiu香水是哪国的 miumiu缪缪香水香评时间:2022-05-14 11:47:26 编辑:nvsheng 导读:miumiu是意大利的一个奢侈品品牌,miumiu的服饰一直都很年轻少女浙江杭州市消保委提示:“适老化家装”要注意这几点
中国消费者报杭州讯记者施本允)日前,浙江省杭州市消保委联合杭州市定制消费教育基地“都都装饰”发布消费提示,要想老人独自在家还能安心舒心,一些家装小设计,消费者一定要记好。注意空间通透、动线简单。随着年刘备称雄一生,为何败给了江东鼠辈?
刘备一生可称为枭雄,从白手起家,到三分天下有其一,人生的起承转合、文韬武略,非一般人所能比,连曹操都对他刮目相看,时时处处都提防着刘备,担心刘备有朝一日成为心腹大患,果不其然,放了刘备走之后,刘备逐渐光腿神器长了怎么办 光腿神器颜色不自然怎么办
光腿神器长了怎么办 光腿神器颜色不自然怎么办时间:2022-05-12 12:02:24 编辑:nvsheng 导读:光腿神器是冬天大家都非常感兴趣的,光腿神器就是和皮肤颜色很相近的打底裤丝袜,穿