历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
7378
-
浏览
2224
-
获赞
189
热门推荐
-
线下培训逐步恢复!上海市消保委提醒:保护培训费资金安全
中国消费者报上海讯记者刘浩)根据近期疫情防控形势,各类培训机构将被允许逐步恢复线下培训服务。8月10日,上海市消费者权益保护委员会联合上海市教委提醒家长:选择培训机构和培训项目要理性、慎重,保护好子女妈妈服装时尚韩版(妈妈时装穿搭)
妈妈服装时尚韩版妈妈时装穿搭)来源:时尚服装网阅读:319中老年秋冬外套1、考虑保健功能:首先要款式简洁,然后比较宽大,才能使得中老年人穿起来觉得舒适。在面料方面要注意选择透气性和吸湿性比较高的那种。温格:阿森纳会吸取之前的教训,他们有机会与曼城争冠
9月16日讯 前阿森纳主帅温格本周参与节目时,谈到了阿森纳这个赛季争冠的前景,他认为阿森纳近几个赛季投入不小,而德布劳内的受伤对曼城是个损失。“我觉得阿森纳在过去的四年里投入了很多资金,俱乐部投入了很李宁 x ONE 冠军赛全新联名搏击系列亮相,全力出击!
潮牌汇 / 潮流资讯 / 李宁 x ONE 冠军赛全新联名搏击系列亮相,全力出击!2021年08月20日浏览:2474 看过了极具质感的 LINING 超载新作之后,这《城市:天际线2》团队解释主机版发布延迟原因 受硬件限制
由P社发行的沙盒模拟建造游戏《城市:天际线2》,原计划在2023年10月期间于PC、Xbox和PS5平台上推出,但最终仅在PC上发布2023年10月24日推出),其主机板则一再延期。而受到PC版性能问杨子回应商家报警170万腊肉仅卖出一单:不认识,无关联
1月28日,杨子回应商家报警170万腊肉仅卖出一单:网传腊肉产品与我们无任何关联,没经过任何形式的售卖及同框,与网传收取3000余万招商费的两家公司,不认识也未接触过。揭秘!内部员工都抢不到的西海岸红盘
2019有一种热,叫西海岸新区发展的火热。从曾经风景优盛的临海小城,到今日让资本发狂之地,西海岸新区的变化和发展的火热可以用震撼、神奇来形容。龙湖·西府原著趁热而来,火爆首开!现场近千名“2007中国企业500强”今发榜
“2007中国企业500强”今发榜 2007-09-05据报道《直到黎明》真人电影将于2025年4月25日上映
根据外媒Deadline的报道,游戏改编电影《直到黎明》将于2025年4月25日在美国上映,该片由索尼旗下的幕宝电影公司制作,大卫·F·桑德伯格执导,加里·道伯曼编剧,艾拉·鲁宾、迈克尔·西米诺、柳智中班活动时尚的服装反思(中班活动时尚的服装反思与评价)
中班活动时尚的服装反思中班活动时尚的服装反思与评价)来源:时尚服装网阅读:253中班教案:美丽的服装1、中班教案:美丽的服装1 活动目标 1)学习用对称的方法画衣服;2)会用多种图案装饰衣服;3)感吵架秒赢秒杀对方的句子 不带脏字吵架必胜的文案
日期:2024/3/15 8:33:00作者:网友整理人气:0我来评论导读:当身边的人惹自己不爽的时候就可以用这组文案去怼别人啦,怼人的短句不带脏字但是却狠,快点收藏着吧。 1.哪个下水道没调侃自己胖的幽默句子简短 自嘲自己体重的搞笑句子
日期:2023/10/7 8:02:00作者:网友整理人气:0我来评论导读:朋友圈幽默说自己胖了的文案怎么发了,这组幽默自嘲自己体重长了的文案去发朋友圈去吧。 1.罢了,大抵是衣服有了新欢,周鸿祎参演短剧首次播出:贾跃亭牛文文等大佬亮相
近日,周鸿祎首次参演的短剧开播,剧中汇聚了贾跃亭、牛文文、吴世春等业界知名人士。周鸿祎表示,这部短剧从构思到完成仅耗时三天,他期待观众的反馈和建议,以期在未来的表演中做得更好。剧情讲述了一个科技公司的阿皮亚诺:周二恢复训练
4月24日阿皮亚诺詹蒂莱消息,在击败了拉齐奥之后,备战意甲联赛第35轮,也就是4月30日星期六在迪诺马努奇球场对阵切塞纳(18:00开球)之前,莱昂纳多给球队放假两天,让球员们度过复活节。球队将在周二冒险岛战神厉害吗,冒险岛战神横空出世,究竟厉害与否?
冒险岛战神是一个非常强大的职业。战神在转职为英雄并达到3转以后,开始展现出强大实力,可以获得一些非常强力的技能,例如霸气破击和破天一击等,这些技能可以提升战神的攻击力和破坏力。当战神转职为4转的传说时