历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
7
-
浏览
45
-
获赞
35933
热门推荐
-
Nike 全新 Air Force 1 VTF 凉拖版本曝光,专为潮童打造
潮牌汇 / 潮流资讯 / Nike 全新 Air Force 1 VTF 凉拖版本曝光,专为潮童打造2019年08月19日浏览:2868 近来,大家对 Nike 旗下的南京禄口国际机场货运保障部张敏的原创散文诗歌赏析(六十七)
我从江南走过 烟雨朦胧,轻轻的飘过四季的古城,芳草碧色,湖水荡漾,那一帘的烟柳轻拂水面,草色涟漪,青缇竹翠,那风轻拂,轻轻的吹过青石板的幽巷,花叶舞蹈,春风醉情,那一抹绿渐渐的疯染,茶山葱绿,风摇竹翠中南空管局管制中心区管运行五室开展庆“三八”活动
中南空管局管制中心 呙常冠 张世雷 张穗涵 “芳菲消息到,杏稍红”,在这春回大地、草场莺飞的季宁波空管站完成航管楼UPS蓄电池监控系统排故工作
近日,根据宁波空管站技术保障部动力设备科室的工作安排,由科室成员刘欣牵头完成了航管楼UPS蓄电池监控系统“单节电池频繁出现温度和电压误告警”的排故工作。经后续持续观察,类似告警欧美著名时尚服装品牌(欧美时尚大牌服装海报)
欧美著名时尚服装品牌欧美时尚大牌服装海报)来源:时尚服装网阅读:1507欧美系列潮牌年轻人有哪些青少年十大潮牌衣服品牌:Supreme、PALACE、Champion、Off-white、Bape、B阿克苏(图木舒克)机场开展跑道道面修补
中国民用航空网通讯员王东亮讯:阿克苏图木舒克)机场2021年3月2日组织机场全员对跑道面道病害进行全面检查,运行保障部“精匠”班组对跑道道面病害进行修补。在跑道道面修补过程中,深圳空管站顺利完成塔台场监雷达机房外墙维护
张本广、徐静)3月3日,深圳空管站顺利完成塔台场监雷达机房外墙刷漆工作。深圳空管站塔台处于珠江口,常年高温高湿环境使得场监雷达机房市场面临金属墙壁外围底部铁皮锈蚀严重穿孔的问题。早在2018年,深圳空呼伦贝尔空管站气象观测室完成新员工岗前安全教育培训考核
通讯员:冯树祥)近日,为了检验岗前安全教育培训的学习质量,巩固学习成果,呼伦贝尔空管站气象观测室组织新员工进行了岗前安全教育培训考核。本次考试由观测教员组织,采用闭卷方式。在整个考试过程中,新员工严格广场舞春秋时尚服装(广场舞春秋服装套装)
广场舞春秋时尚服装广场舞春秋服装套装)来源:时尚服装网阅读:1320晚会开场舞主持稿甲:尊敬的各位领导,乙:敬爱的各位老师,丙:尊敬的各位家长,丁:亲爱的同学们,合:大家晚上好!丙:灿烂辉煌的20xx中国航油天津分公司航空加油站汇聚青年力量助力春运保障
通讯员刘彦宏报道:近期,天津分公司团委按照上级公司关于疫情防控和安全生产“两手抓、两手硬”要求,动员号召全体青年团员积极为“战疫情 保春运”贡献青巧手展风采·魅力迎三八”哈密机场开展迎三八节活动
在第111个“三·八”国际劳动妇女节来临之际,为活跃哈密机场工会女职工文化生活,展现新时代女职工风采,传递向上向善的巾帼正能量,引导广大妇女职工更多的关注自身的道阿克苏机场安全检查站组织开展非正常事件案例分析培训
中国民用航空网通讯员毛盈盈讯:为有效提高阿克苏机场安检站空防安全能力,切实加强安全生产保障工作,3月3日,阿克苏机场安全检查站开展了一次非正常事件案例培训,深层次分析发生不安全事件的问题根源。此次培训时尚服装潮流夏季图片(时尚服装潮流夏季图片高清)
时尚服装潮流夏季图片时尚服装潮流夏季图片高清)来源:时尚服装网阅读:2002白色修身上衣搭配黑色短裤,时尚百搭,纯净可爱,你喜欢这种穿搭吗?_百度...1、kenzo虎头短袖款式简约而不简单,象征着一26度春风服务 吹暖老人回家的路
“老吾老以及人之老”是中华民族优良传统,随着社会逐步老龄化,机场旅客服务也面临着更多新的挑战,但无论服务形势如何转变,我们认为,只要有真情,有关爱,老龄旅客一样能够舒心快揭秘:项羽自信过头错失天下的三个原因
导读:性格决定命运。一个人的性格可以成就他的事业,也可以损伤他的事业。项羽的性格中有一个致命的弱点,就是过于自信,刚愎自用。自信是人性的一个优点。一个人如果没有自信,他什么事情也完不成,因为有自信,你