历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
18
-
浏览
45
-
获赞
8
热门推荐
-
《毒液:最后一舞》IGN 4分 一场乏味的告别
《毒液:最后一舞》海外媒体口碑出炉,IGN 4分,Metacritic收录28家媒体评分,当前均分42分。IGN评分:4分,差劲《毒液:最后一舞》被自己的卷须绊倒,虽然埃迪·布洛克Eddie Broc浅谈真情服务工作的内外统一
2015年12月30日, 民航局冯正霖局长在民航局机关干部会上提出民航的工作要坚持飞行安全的底线、廉政安全的底线、真情服务的底线,将"真情服务"作为当前民航的重要工作来抓。真情服务,顾名思义,粗解为以宁波空管站技术保障部完成塔台供电改造工作
近日,宁波空管站技术保障部顺利组织完成了塔台供电改造工作,解决了其供电隐患。宁波空管塔台最初设计有16路供电线路,机柜与机柜之间存在着PDU级联问题,即两个机柜间采取PDU连接PDU的方式进行供电。如用数据说话,看广州管制中心流量管理再创佳绩
中南空管局管制中心 祝刚 2019年,中南空管局管制中心共保障飞行2331552架次,日均6387架次,日均架次同比增加6.2%黄金近期将保持区间交易?交易员等待进一步经济信号
汇通财经APP讯——周三11月27日)美盘时段,黄金盘中小幅上涨。在上周末特朗普提名斯科特·贝森特Scott Bessent)为财政部长后,金价本周开局不利。贝森特被视为财政鹰派人物。过去几年,黄金和春节大扫除 新年新气象
(通讯员:冯怡 季蔷薇)新春佳节来临之际,1月14日,呼伦贝尔空管站气象台开展了卫生大扫除活动——洁净清爽迎新春。集中治理了气象台观测预报室卫生,男女寝室卫生。全体成员拿起扫帚、簸箕等各种工具清理办公金鹏航空推出多条春运特惠航班,最低90元起
年关将至,为满足更多旅客出行需求,金鹏航空推出上海浦东至海口、海尔滨、青岛;深圳至杭州、安庆等多条特惠航班,最低90元起。通航城市网罗珠海、武汉、长沙等旅游胜地,丰富了广大市民的春节出游选择。金鹏航空揭秘:水浒传中的铁牛李逵究竟是个怎样的好汉?
但凡明清古典小说里面,不管其出场角色有多少,其中,必然会有一个憨直的,负责搞笑的,惹人喜爱的角色,作为小说中的调味剂,为小说加上不少的幽默戏份——甚至,专门负责搞笑。这类角色往往性格单纯憨直,粗心胆大《流放之路2》PC配置公布 硬盘需要100G
Steam页面更新了《流放之路2》的PC配置需求,根据描述,玩家游玩这款游戏只需要GTX 960显卡即可,推荐配置仅为RTX 2060和16G内存,而硬盘需求则达到了100G。配置需求:最低配置:操作乌鲁木齐航空“迎新春,送祝福”活动顺利开展
通讯员 张晶晶)1月17日是农历小年,为弘扬传统文化、营造欢乐祥和的节日氛围,乌鲁木齐航空开展“迎新春,送祝福”活动,此次活动吸引30余名干部员工们参与其中,活动现场,乌鲁木齐航空工会主席王强代表公司湖北机场集团机管公司信息机电保障部顺利完成安防两大系统服务器迁移工作
本报讯 通讯员 叶菁 报道:春运集结号“吹响”,信息机电保障部弱电系统室加强思想引导,发挥党支部引领作用,提高政治站位,重拳出击组织攻坚力量,顶风冒雪与时间赛跑,在有限的条件下,春运前消除了安防系统运巴彦淖尔机场圆满完成校验飞行任务
本网讯巴彦淖尔机场:李子龙报道)近日,随着一架中国民用航空飞行校验中心的CFI017飞机从巴彦淖尔机场顺利起飞,标志着此次巴彦淖尔机场导航设备定期检验任务圆满完成。此次校验任务共保障校验飞行8架次,调美潮 Supreme 2019 秋冬系列 Lookbook 正式公布
潮牌汇 / 潮流资讯 / 美潮 Supreme 2019 秋冬系列 Lookbook 正式公布2019年08月20日浏览:4188 在各路情报账号多次曝光及侧面报道之后“不走神、不松劲、不懈怠”迎“春运”、“两会”保障
2020年1月13日至15日期间,河北空管分局气象机务室分两批次完成了春节节前安全教育和考核工作,“不走神、不松劲、不懈怠”的迎接春运和两会,做好航空气象设备保障工作。在节前教育中,气象机务室主任首先三亚空管站排查雷达干扰 确保春运无线电安全
1月15日,三亚空管站气象台及时排查一起无线电干扰,确保春运无线电安全。该站气象台设备室机务员在气象雷达回波器上发现异常,雷达回波遭受大范围的干扰,对航空安全运行造成影响。他们立即向海南省无线电监督管