历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
56684
-
浏览
42318
-
获赞
6462
热门推荐
-
四川省消委会再发定制家具消费提示:消费者签字确认≠商家免责
中国消费者报成都讯记者刘铭)继发布《家具定制货不对板 四川省消委:消费者有权拒绝验收》的消费提示后,8月4日,四川省保护消费者权益委员会再次发布定制家具消费提示:消费者签字确认≠商家免责家。近期,成都朱元璋若不杀此人,朱棣绝不敢起兵造反更没机会称帝
明朝建立后,朱元璋就将长子朱标立为太子,为了能够让大明江山更加稳固,子孙后代省点心,明太祖朱元璋一生勤于政事。据《明史》记载,朱元璋从登基到驾崩,几乎没有休息过一天,简直就是个工作狂,平均每天处理几百井冈山机场召开2023年巡察工作部署会
本网讯井冈山机场:刘伟报道)4月4日,为积极配合好今年江西省机场集团公司党委巡察工作,井冈山机场召开了2023年巡察工作部署会。分公司党委班子成员、各部门主要负责人参与了本次会议。党群工作部负责人宣读诸葛亮为何见一面魏延 就要杀了他?
三国鼎立时期的蜀国又数不尽的忠臣良将,除了为人熟知的五虎上将之外还有一位极具军事才能的大将——魏延。魏延是刘备手下极其骁勇善战的将领,也让刘备非常信任和器重的将领。魏延原是刘表的手下,后来在刘备征讨张OPPO Reno13果味新选择:iPhone 16的完美平替
新一代超美小直屏OPPO Reno13系列已于25日晚正式发布,延续了OPPO一贯的科技与美学融合理念,更在影像体验、外观设计、防水性能以及硬件配置等方面实现了全面升大连空管站塔台管制室开展低能见度条件运行指挥要点培训
通讯员陈驰报道:为提高管制室人员的复杂天气指挥能力,降低大雾天气对管制运行造成的不利影响。3月28日,大连空管站管制运行部塔台管制室利用月度安全例会平台进行低能见度条件运行指挥要点培训。培训中指出,复上饶机场接受民航江西监管局2023年度综合安全大检查
本网讯上饶机场:胥锦圆报道)3月21日至23日,民航江西监管局党委副书记、纪委书记蒙健民带队赴本场开展2023年度综合安全大检查。此次检查组人员由机场处、空管处等九个处室组成,检查围绕规章制度适用性、刘裕留下了什么东西 竟帮助自己孙子大难不死
历史上的南朝刘宋时期,曾经有这么一个叫做徐湛之的人受到了当时皇帝的喜爱。一直管理着朝廷的大权。而他能够做到这一步的主要原因不是别的,而是他显赫的身份使然。因为此人的外祖父,乃是宋朝的开国皇刘裕。他的母前队友:多库和我们不同,他会给曼城球迷带给惊喜
8月24日讯 多库在安德莱赫特时期的队友亚伊-姆皮接受了媒体的采访,对即将加盟曼城的比利时前锋做出了评价。亚伊-姆皮表示:“多库的技术、速度、射门和斗志都是现象级的,所有人都知道多库与我们不同。”“他海南空管分局塔台团支部召开2023年第一季度团员大会暨团课学习
撰稿人:杨雨芃)2023年3月31日,为明确团支部工作目标,加强团员青年发展规划,深入学习贯彻党的二十大精神,提高团员青年法制意识,塔台管制室团支部召开2023年第一季度全体团员大会,塔台党支部书记潘他是武则天第一男宠 乱棍打死后竟被烧成砖盖房子
导语:了解唐朝历史的朋友一定对武则天的男宠们不陌生,尤其是她的第一个男宠薛怀义,从摆摊卖药的小贩一跃而成权倾朝野的软饭男,飞扬跋扈坏事做尽,最终也没得个好下场。薛怀义,原名冯小宝,京兆鄠县(今西安鄠邑阿拉尔机场开展航空器火警应急处置单项演练
中国民用航空网通讯员索力亚 海热古丽讯:为进一步切实做好应急救援工作,检验和提升机场应急救援能力。3月30日,阿拉尔机场开展了航空器火警应急处置单项演练。 在接到航空器左发起火的特情信息后,上海普陀:通过网络远程司法确认帮助消费者维权成功
中国消费者报上海讯记者刘浩)8月5日,记者从上海市普陀区消费者权益保护委员会获悉,普陀区消保委和普陀区人民法院联合调解,通过网络远程视频形式进行司法确认,帮助消费者维权成功。据介绍,消费者费先生购买的被人强迫做皇帝 他们为什么这般不情愿?
说起皇位,那是多少人梦寐以求的事情,那是九五之尊,万万人之上,拥有无上的权力,无尽的荣华富贵,有多少人为了争夺皇位杀得血流成河,父子、兄弟之间反目成仇没有了人性。可是历史上就有这么几位不愿意做皇帝的人曹操能称霸天下 全靠这五个足智多谋的国士
三国时期,三位大将各据一方,曹操的地域最为广泛,他之所以能够拥有如此广阔的领域,最重要的是身边的谋士较多。那么曹操身边的五大谋士是谁呢?网络配图荀彧——体大思精,总统后盾。辅佐曹操攻略吕布、袁绍、刘表