历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
5986
-
浏览
4292
-
获赞
893
热门推荐
-
博主:科威特埃米尔询价利物浦,试图全资收购
推特账号indykaila News爆出猛料,科威特埃米尔的萨巴赫家族已就完全收购利物浦进行了询价。该账号还称,接下来会有媒体报道这一消息。根据福布斯今年5月的统计,利物浦俱乐部的市值是52.88亿美路易威登艺术时空之旅国博启航(图) 收藏资讯
路易威登艺术时空之旅启航文/羊城晚报记者 刘佳宁图/宋金峪(除署名外)5月30日,北京,“路易威登艺术时空之旅”(LOUIS 声明:本文来源于网络版权归原作者所有,仅供大家共同凯恩决定正面对抗列维,拒绝续约,威胁热刺免签拜仁
最近关于凯恩跟拜仁的传闻越传越烈,但是凯恩本人却没有任何表态。外界猜测,凯恩可能会选择留在热刺,并不想跟热刺闹翻。事实上,情况并不是如此,根据《体育图片报》报道,为了离开热刺,凯恩已经威胁列维,如果不真人剧发布献礼《人中之龙》系列作品的三种游戏套装正式发售!现已推出超值优惠价格
世嘉股份有限公司为纪念旗下热销游戏系列《人中之龙》真人剧的发布,正式于PlayStation Store、Microsoft StoreXbox / Windows)、Steam平台发售该系列作品的套黄金近期将保持区间交易?交易员等待进一步经济信号
汇通财经APP讯——周三11月27日)美盘时段,黄金盘中小幅上涨。在上周末特朗普提名斯科特·贝森特Scott Bessent)为财政部长后,金价本周开局不利。贝森特被视为财政鹰派人物。过去几年,黄金和苹果被判侵权?高通专利战还需7月比较终审查
高通和苹果的专利纠纷有了新进展。据外媒报道,手机芯片供应商美国高通公司控告苹果侵犯专利,其中一宗获判胜诉,法官建议禁止部分iPhone型号进口美国。不过,相关裁决须经全体委员会审查,预计将在7月完成。朱正廷新动作:比较近他去一家网红养生奶茶店上班了?!
现在的网红奶茶馆开得铺天盖地,不少年轻人每天下午为了续命总忍不住要点上一杯。虽然奶茶好喝到上瘾,但面对体重在增加,颜值在下降的事实,又让人默默立起 ”戒奶茶“的Flag。奶茶和变美这两件事真的只成反比曼联7号选择“最帅的”,同时宣布5名传奇,加纳乔落败有三大原因
短短一个小时内,曼联官网宣布了两个好消息。来自切尔西的芒特,正式前往老特拉福德,不久后,又追加一条信息,芒特将身披7号球衣。不得不说,曼联对于“热度”的控制,是相当熟练的,明明可以合并发布,但却分开两收藏:原本是一件高雅事,却被搅的天昏地暗 收藏资讯
第一大怪象:没有藏品是“人才”,出书鉴宝赚外快。不少所谓的古董鉴定专家,很难有自己的藏品;没有藏品的鉴宝人,到处拿别人的“孩子”说事,给收藏颇丰的人做“真伪”鉴定,收费不手软,说话不留情;把一些藏友们苹果继续领跑Q2智能手机市场,旧款机型受欢迎度攀升
根据Counterpoint最新发布的2024年第二季度全球最畅销智能手机排行榜名单显示,苹果再次凭借iPhone 15、iPhone 15 Pr媒体人谈洛国富:归化中最令人唏嘘的,他对国足的归属感非常强烈
6月25日讯 通过个人社交媒体,归化国脚洛国富宣布了退役的决定。洛国富2020年获得代表中国国家队出战的资格,但仅为国足出战过5场正式比赛。在谈到洛国富时,媒体人寒冰给予高度认可,但也有着些许遗憾。寒致 IBM Watson:六年过去,昔日的人工智能老大哥你还好吗?
雷锋网按:距离 2011 年 IBM Watson 赢得Jeopardy! 答题秀,已经过去了六个年头。然而,现在提到人工智能,大伙儿首先想到的大概是 AlphaGo,以及谷歌和 DeepMind。当记者:雷恩关注林德洛夫,但球员和曼联都无意进行该交易
据推特消息,记者Fabrice Hawkins透露,雷恩一直在关注林德洛夫,他是法国球队引援名单上排名前列的人选,但这桩交易很复杂,因为瑞典国脚在曼联很开心。罗马诺表示,林德洛夫并不想将雷恩作为下一站《史克威尔艾尼克斯的AI》新书公布 浅显易懂理解游戏AI
由三宅陽一郎等SE社众多制作人一起顾问编辑,《史克威尔艾尼克斯的AI》新书公布,于明天正式发售,官方宣称本书浅显易懂理解游戏AI,感兴趣的有条件的的小伙伴可以关注下了。《史克威尔艾尼克斯的AI》:样本宁夏翡翠展亮出4千多万元挂件 收藏资讯
声明:本文来源于网络版权归原作者所有,仅供大家共同分享学习,如作者认为涉及侵权,请与我们联系,我们核实后立即删除。