历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
96857
-
浏览
12681
-
获赞
745
热门推荐
-
黑丝美女被批量炮制 探访女主播吴柳芳背后MCN机构
11月28日消息,体操冠军吴柳芳“擦边风波”后,记者关注到,与其同家MCN机构的女主播,依旧在用涉及“擦边”的短视频引流,该公司对于“优秀女孩“的招募,也还在持续。记者采访过程中,该公司一名“操盘手”2024欧洲杯预选赛小组赛C组:北马其顿1
2024欧洲杯预选赛小组赛C组:北马其顿1-1意大利2023-09-10 22:41:242024年欧洲杯预选赛火热进行中,欧预赛小组赛C组展开角逐,此役由北马其顿坐镇主场迎战意大利。本场比赛上半场中祛眼袋照片遭泄露 消委会调解美容院赔礼并退费
中国消费者报长沙讯记者余知都)12月27日,湖南株洲消费者何女士将一面绣有“一心为民,公正高效”字样的锦旗送到株洲市消费者委员会,一口一声感谢消委工作人员为自己成功维权。202【微博新闻】2012年9月30日
祝各位内拉中秋快乐!国庆快乐!微动态:米体预测今晚首发:微转会:1、保利尼奥:科林蒂安斯体育主管承认保利尼奥即将离开:我们都知道他迟早会去欧洲,我们不可能把他留在巴西。国米?我只能说最终我们还是没能留MIZUNO(美津浓)全新 WAVE EMPEROR TECH 鞋款上架发售
潮牌汇 / 潮流资讯 / MIZUNO美津浓)全新 WAVE EMPEROR TECH 鞋款上架发售2019年08月13日浏览:4019 来自日本的国宝级运动鞋履品牌耶鲁大学正式道歉:承认与奴隶制存在关联
据《参考消息》网站2月20日援引美国《国会山报》网站2月17日报道,耶鲁大学16日就其与奴隶制有关的过往正式道歉。报道称,在对这一问题进行了多年的研究后,这一常青藤盟校成为最新一所为其与奴隶制的关联道国信期货早评:铁矿石偏强震荡,铁合金短期反弹,玻璃弱势
汇通财经APP讯——铁矿石:情绪引导 偏强震荡;周四夜盘铁矿石延续震荡,05合约涨7.5至864.5,涨幅0.88%。消息面1月贷款数据创出新高,市场情绪回暖。产业端钢厂补库预期仍在,铁水产量延续上行安踏 KT7 全新「海王汤」配色鞋款释出,魔术贴设计
潮牌汇 / 潮流资讯 / 安踏 KT7 全新「海王汤」配色鞋款释出,魔术贴设计2022年03月16日浏览:2934 喜庆的锦鲤主题之后,日前安踏又为汤普森签名战靴 KT服装图案时尚女装专场(服装图案设计)
服装图案时尚女装专场服装图案设计)来源:时尚服装网阅读:1672有哪些设计简单上身有气质的女装品牌?麻霖文艺态度生活女装。首先,来一家棉麻风的店铺:非常时尚大牌的女装原创设计店铺。一家很有设计点的店铺2023世预赛南美区首轮:阿根廷1
2023世预赛南美区首轮:阿根廷1-0厄瓜多尔2023-09-10 22:42:492023年世界杯预选赛如期打响,世预赛南美区首轮的比赛展开角逐,此役由阿根廷坐镇主场迎战厄瓜多尔。本场比赛上半场中,全球资讯:今天 张一鸣又给家乡捐了2个亿
据龙岩市教育局,5月4日,字节跳动创始人张一鸣向芳梅教育发展基金追加捐赠2亿元,用于支持龙岩市职业教育和艺术教育等教育公益项目。追加捐赠后,该项基金总规模达到7亿元。芳梅教育发展基金于2021年6月2第二十四届中国国际石油石化技术装备展览会3月25日开幕
3月25日,一年一度的世界石油天然气大会——第二十四届中国国际石油石化技术装备展览会cippe2024)在北京·中国国际展览中心新馆)盛大开幕。本届展会展出面积超佩蒂特:我们知道凯塞多和拉维亚为何去切尔西,他们去红军会更好
8月24日讯 前法国国脚佩蒂特接受了媒体的采访,就凯塞多和拉维亚的情况发表了看法。佩蒂特表示:“当凯塞多与利物浦联系在一起时他加盟了切尔西,拉维亚也一样,我不想说愚蠢的话,但我们都知道他们为何选择了蓝欧洲杯预选赛直播怎么看?比利时主场对阵爱沙尼亚
欧洲杯预选赛直播怎么看?比利时主场对阵爱沙尼亚2023-09-13 18:01:12比利时目前世界排名第五,在本届欧洲杯小组赛球队取得三胜一负的战绩,打进八球丢1球。目前排名欧洲杯F组小组第一的位置。鏂界綏寰蜂氦閾剁悊璐㈡湁闄愬叕鍙歌幏鎵圭寤篲涓浗灞变笢缃慱闈掑矝
銆€銆€2鏈?2鏃ワ紝浜ら摱鐞嗚储鏈夐檺璐d换鍏徃鏀跺埌銆婁腑鍥介摱淇濈洃浼氬叧浜庣寤烘柦缃楀痉浜ら摱鐞嗚储鏈夐檺鍏徃鐨勬壒澶嶃€嬶紙閾朵繚鐩戝銆?021銆?37鍙凤級锛屾壒鍑嗗悓鎰忔柦缃楀痉