历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
99673
-
浏览
95874
-
获赞
6468
热门推荐
-
腾讯《黑色沙漠》手游将停服 PC端国服上个月刚公测
近日腾讯《黑色沙漠》手游发布停服公告,由于腾讯与该游戏开发商的代理协议即将到期。经双方友好协商后,决定于2025年1月27日11点正式停止《黑色沙漠》手游在中国大陆地区的运营。据公告显示,2024年1华北空管局通信网络中心开展自动转报系统培训工作
本网讯通讯员:刘蜀燕) 3月23日华北空管局通信网络中心开展自动转报系统的初级培训工作。本次培训是采用公开课的方式,面向整个华北地区开放。培训形式采用现场集中以及网络在线的两种方式开展。 培训开展汉武帝刘彻的遗命为何是将有孩子的宫女全处死
红潮导语:汉武帝害怕因为汉昭帝年纪小而出现吕后专政那样的事情,临死前,将所有为自己生过孩子的后宫女子,全部处死。李夫人看来是摸准了汉武帝的心理,甚至可以说是摸准了天下男人的心理。她死去之后,汉武帝思念中国史上变态到令人匪夷所思的一名皇帝刘骏
红潮导语:南朝宋孝武帝刘骏骤然去世,原本风雨飘摇、朝不保夕的太子刘子业侥幸登基称帝,然而其后他的种种荒淫残暴,令人匪夷所思:他在父亲的陵墓上倾倒大粪;将叔祖剖腹挖心,挑出眼睛泡在蜜里做“鬼目粽”;与亲HUMAN MADE 全新旅行套装系列单品发售,个性兼具实用
潮牌汇 / 潮流资讯 / HUMAN MADE 全新旅行套装系列单品发售,个性兼具实用2019年08月12日浏览:3496 继早前推出联乘T恤系列单品后,近日,HUMA千古一后阴丽华为何能让刘秀专情一生 内幕!
刘秀和阴丽华的爱情是人人羡慕的,人们都很好奇的阴丽华究竟有什么特殊的魅力,使汉光武帝刘秀对她专情一生,直到专家成功的揭开了两人之间的秘密关系,下面小编带你看。网络配图千古一后阴丽华的故事相信很多人都应民航广西空管分局举办防震减灾讲座夯实应急保障能力
中国民用航空网 通讯员 彭慧君报道)2022年3月,广西空管分局邀请广西壮族自治区地震局聂冠军博士开展防震减灾讲座,以指导分局人员正确认识地震、科学应对灾情,进一步提升安全防范意识和应急保障能力海南空管分局气象台团总支与技术保障部团委开展青年交流活动
中国民用航空网通讯员 颜一凡、许莹 报道:3月25日,气象台团总支和技术保障部团委联合开展青年交流活动。活动以“交流共享 进步互学”为主题,旨在落实民航空管局十四五规划中关于&美女裸聊榨干男网友,国家是如何暴打犯罪分子的?【互联网B面004】
作者|木有、陈川视频链接:https://www.bilibili.com/video/BV1Sf4y1u79x 这是一起典型的裸聊诈骗的过程,裸聊诈骗最恶劣的地方在于,他能榨干你所有的钱,被骗金额可秦始皇死亡真相——千古一帝却落得这般下场
郭沫若曾发表过一篇文章《秦始皇将死》,里面描述了秦始皇正在渡着旧黄河平原津的时候,癫痫病发作,后脑撞在青铜冰鉴上,加重了脑膜炎的病情,人处于昏迷状态,当辒辌车赶到沙丘后,停了一晚。网络配图 第二天,赵咸丰皇帝是个早产儿 这居然是其母有意为之!
咸丰是道光皇帝的第四子。可是,咸丰出生之时,却成了道光唯一的儿子。为何?因为道光的前三个儿子都死了。其中,第二子不出满月就夭折了,第三子也仅仅活了二十多天。那大阿哥呢?大阿哥本来活得很好,并成功活到了隔离不隔心 疫情不抑情
为了在隔离运行期间丰富职工业余生活,稳定队伍思想,缓解心理压力,促进沟通交流,增强团队凝聚, 3月24日东北空管局空管中心终端管制室组织开展了以“隔离不隔心,疫情不抑情”时尚服装冬至文案图片(时尚服装冬至文案图片高清)
时尚服装冬至文案图片时尚服装冬至文案图片高清)来源:时尚服装网阅读:1584适合冬至发朋友圈的文案句子精选、冬日里,冬日寒,不知不觉冬至来;吃饺子,吃汤圆,短信预祝圣诞欢;唱歌来,跳舞来,欢欢喜喜盼新羽神争霸 等你来战——海南空管分局三亚区域管制中心举办首届职工羽毛球双打挑战赛
通讯员:邓杰桓 图:李浩然)为丰富职工文体生活,进一步提高广大职工身心健康,增进同事间友谊,在分局工会羽毛球协会和区管中心分工会指导下,区管中心于3月4日至24日举办了“羽神争霸&rdqu历史上第一个被废后选择自杀的皇帝成汉李期
红潮导语:李期还猜忌能臣,一旦发现能力超过他的人,定要想方设法将其除掉,甚至给别人扣上莫须有的帽子——“天下主乃为小县公,不如死!”东晋时割据巴蜀的成政权第三任皇帝李期被废黜后,从皇帝跌为县公,从人主