历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
4178
-
浏览
37669
-
获赞
811
热门推荐
-
休闲农场建造模拟游戏《农场翻修者》现已推出试玩Demo 预计2025年内发售
由MobilWay进行开发、PlayWay S.A.负责发行的休闲农场建造模拟游戏《农场翻修者Farm Renovator)》,现已在Steam平台推出试玩Demo。本作中玩家将用自己辛勤的汗水,把一宁夏空管分局气象台预报室组织对《预报室运行手册》集中梳理
为了落实分局安全大检查工作,打牢气象台预报室制度建设基础,提高预报运行手册的实用性和有效性,三月底至四月初,预报室要求预报员重新全面学习《预报室运行手册》中的内容,并分区划块、将手册内容分配到每名预报响应国家政策 落实行业要求
通讯员 王瑞琦)近日,天津空管分局气象台机务室精进班组完成核心交换机及其连接网线更新。 更新前,气象网络为两台思科企业级核心交换机构建的双机热备网络,截至更新前,两台设备已不间断运行13年,硬件河北空管分局石家庄机场改扩建空管工程圆满实现投产运行
通讯员 石同栓、张泽鹏)4月27日,民航华北空管局重点工程——河北空管分局石家庄机场改扩建空管工程顺利通过了华北管理局组织进行的行业验收,标志着该工程项目正式实现了投产运行德州时尚服装哪里有(德州服饰)
德州时尚服装哪里有德州服饰)来源:时尚服装网阅读:1925德州去哪买毛呢和衬衫1、梨山lesemi款式比较多的一个店,毛衣、毛呢大衣、衬衫和半裙都好看,大家有意向可以进店看看。毛衣价格在200-300海南空管分局气象台联合广西空管分局气象台顺利开展应急接管演练
中国民用航空网通讯员 王凤翥 报道:为进一步优化气象服务方案,提升气象工作平稳运行,增强紧急事件突发下的应对能力,4月28日上午,海南空管分局气象台预报室联合广西空管分局气象台预报室开展应急接管演练。赣州机场分公司团委换届选举工作圆满完成
本网讯赣州机场分公司:康燕华报道)为进一步加强基层团组织建设,充分发挥团员青年主力军和突击队的作用,赣州机场分公司分别于4月15日、4月20日召开团员大会换届选举及另行选举,选举产生了新一届团委委员,宁夏空管分局气象台预报室组织对《预报室运行手册》集中梳理
为了落实分局安全大检查工作,打牢气象台预报室制度建设基础,提高预报运行手册的实用性和有效性,三月底至四月初,预报室要求预报员重新全面学习《预报室运行手册》中的内容,并分区划块、将手册内容分配到每名预报《刺猬索尼克3》导演表示 在讲述夏特故事时投入了大量的关心和爱
作为系列的第三部改编电影,《刺猬索尼克3》将于2024年12月20日在美国上映。近日导演杰夫·福勒在接受外媒“Entertainment”采访时透露,为了塑造夏特的故事而透露了关心和爱。对此杰夫·福勒认真演练 科学防控,未雨绸缪 保障安全
为了应对当前严峻的疫情形势,2022年4月27日,空管中心组织了一场疫情防疫模拟演练,演习内容是有一名管制员报告接到防疫部门电话,通知其核酸混检结果异常,该管制员第一时间报告带班,并原地等待,随后空管设官方妓院第一人 管仲被娼妓奉为保护神
《史记·货殖列传》中记载:“赵女郑姬,设形容,鸣琴,揄长袂,蹑利屣,目挑心招,出不远千里,不择老少者,奔富厚也。”又说:“中山地薄人众,犹有沙丘。纣淫地余民,民俗急,仰机利而食。丈夫相聚游戏,悲歌慷慨宁夏空管分局气象台预报室组织对《预报室运行手册》集中梳理
为了落实分局安全大检查工作,打牢气象台预报室制度建设基础,提高预报运行手册的实用性和有效性,三月底至四月初,预报室要求预报员重新全面学习《预报室运行手册》中的内容,并分区划块、将手册内容分配到每名预报索尼漫威宇宙电影《猎人克莱文》确定引进国内 档期待定
11月14日,索尼漫威超英电影《猎人克莱文》宣布确定引进国内,档期待定,该片此前已确定将于2024年12月13日在美国上映。《猎人克莱文》由J·C·尚多尔执导,好莱坞最性感男星亚伦·泰勒-约翰逊领衔主感觉自己不会快乐的说说 再也没有快乐了的文案
日期:2022/8/22 9:05:00作者:网友整理人气:0我来评论导读:感觉现在的自己一点快乐都没有了,每天都是被糟心的事情围绕着,什么时候自己才能重拾快乐了。 1.你但是就是仗着我喜欢海南空管分局气象台召开培训工作研讨会
中国民用航空网通讯员 王凤翥、赵凌芳 报道:2022年4月28日下午,海南空管分局气象台召开培训工作研讨会,贯彻落实分局培训管理工作要求,强化一线人员资质能力。分局气象台徐基钢副台长,气象台各室主任及