历史最高分!腾讯绝悟AI斩获Minecraft AI竞赛冠军
绝悟AI开始挑战更复杂的历史开放世界游戏环境了。
Minecraft (中文译名《我的最高I斩世界》) 是全球最畅销的开放世界3D游戏。随机生成的分腾开放地图、自由灵活的讯绝玩法、多线程长链条任务,竞赛给AI研究带来了极大挑战。冠军针对Minecraft的历史复杂环境,游戏AI赛事MineRL邀请全球程序员在4天时间内用一台计算机训练AI找到游戏中的最高I斩钻石。
12月8日,分腾第三届MineRL竞赛主赛道 (research track) 发布成绩,讯绝AI 的竞赛“钻石之梦”向前踏进了一大步:腾讯AI Lab“绝悟”以76.970分的绝对优势夺冠。研究成果已发布在Arxiv上,冠军算法框架可复用于其他复杂决策环境。历史
(论文链接:https://arxiv.org/abs/2112.04907)
MineRL竞赛由卡内基·梅隆大学、微软、DeepMind、OpenAI,联合机器学习顶级会议NeurIPS共同举办,极富挑战性的赛题持续吸引全球开发者关注。今年赛事共有59支团队、近500名选手投身其中,其中不乏世界顶级学府和研究机构的科研强队。竞赛的研究主题是:训练样本高效的Minecraft AI智能体。
腾讯AI Lab创新性地通过分层强化学习(Hierarchical Reinforcement Learning)、表示学习(Representation Learning)、自模仿学习(Self-imitation Learning)、集成行为克隆(Ensemble Behavior Cloning)等算法高效实现比赛目标。
(绝悟AI以压倒性优势获得历史最高分,今年榜单详见链接)
极度多样的环境、完全靠随机种子生成的地图、长决策序列与复杂的技能学习、高自由度玩法带来的海量策略偏好都增加了Minecraft AI研究的难度。比如,为了让AI在15分钟内找到钻石,AI需要经历徒手采集原木、合成木板、木棍与木镐,采集到铁矿,经过一系列加工才能合成钻石。
此外,主办方还制定了种种严苛的规则:包括禁止参赛者编写规则、游戏环境甚至将背包信息与动作空间加密、且不允许使用预训练模型,只允许与环境最多交互八百万次,每个参赛队伍只能使用6核CPU与半张NVIDIA K80显卡训练4天——这个配置几乎对于所有高校实验室与个人研究者都可以负担的。
这次比赛的目的在于促进样本高效 (Sample-efficient) 游戏AI算法的发展。目前流行的强化学习算法一般需要多达成百上千万次的试错来寻找最优流程,耗费大量的时间和计算资源。而纯靠人类数据的模仿学习算法虽然更快,但性能上往往不尽如人意。
(Minecraft 游戏截图)
绝悟AI创新性地提出了一种样本高效的基于分层强化学习(Hierarchical Reinforcement Learning)的解决方案。数据表明,腾讯AI Lab推出的上层控制器的预测准确率可以达到99.95%,也就是说,AI从人类数据中学到了一套几乎不出错的宏观策略,每时每刻都清晰地知道自己下一步的正确动向。
在状态空间表征上,Minecraft游戏遇到的最大挑战在于如何理解复杂的开放地图。首先被选中的是近年来热门的表示学习方法 (Representation Learning)。但研究人员很快发现,已有方法只适用于2D场景,在MineCraft游戏环境里效果很差。于是腾讯AI Lab设计了一种“基于动作感知”(Action-aware Representation Learning)的新颖算法,用来捕捉每个动作对环境产生的影响,形成注意力机制。实验表明,该算法可以显著提升智能体获得资源的能力与效率。
(不同动作的可视化结果,AI学会了关注当前图像中的关键区域)
随着游戏推进,智能体与人类的策略出现了很大的分歧。此时,人类数据已经很难用于指导AI。绝悟AI使用了自模仿学习 (Self-imitation Learning)的思想,提出了基于鉴别器的自模仿学习算法,AI可以从自身过往的成功与失败中获得经验与教训,并在察觉到当前状况不妙的时候,主动往更好的方向修正。对比实验证明,在加入自模仿策略后,智能体探索到的行为更加一致,也可以显著降低进入危险区域的概率。
对于合成物品等需要长链条的动作序列的任务,研究人员也做了细致的优化。通过动作序列一致性过滤 (Consistency Filtering) 与基于投票的集成学习(Ensemble Learning),模型在合成物品阶段的成功率从35%提升到96%,一举将最薄弱的链条扭转为了最稳定的制胜点。
利用高度复杂、高度定制化的游戏场景作训练场,腾讯 AI Lab 的深度强化学习智能体正不断走近现实。棋牌游戏 AI “绝艺”从围棋棋盘逐步走向象棋、麻将,策略协作型 AI “绝悟”从MOBA走向FPS、RTS,再到如今的 3D开放世界 MineCraft。它们迈向全新挑战的每一步,都让AI离解决现实问题、科技向善的大目标更近了一步。
随着虚实集成世界逐步变成现实,这些研究的经验、方法与结论,将在真实世界创造更大的实用价值。
雷峰网(公众号:雷峰网)
友链
外链
互链
Copyright © 2023 Powered by
六合彩图库源码【购买联系电报bc3979】AC彩票网站源码|六合彩源码|彩票搭建|新中原六合彩源码|【网站bc9797.com】六合彩论坛源码【联系飞机bc3979】
sitemap
-
文章
257
-
浏览
15746
-
获赞
6
热门推荐
-
《毒液:最后一舞》3DM线下观影圆满结束!
3DM游戏APP于10月23日下午5点在上海颛桥万达影城组织的“毒液”系列电影《毒液:最后一舞》的免费线下观影活动圆满结束。现场为大家准备的周边在《毒液:最后一舞》中,我们见证了埃迪·布洛克Eddie提速生活,引领发展!M13号地铁驭风前行
交通,是让城市、经济高速运转的大动脉,站在城市的角度出发,承载起城市发展使命。城市向上发展,M13号线驭风前行,不单单承担起城市大部分的交通压力,其背后隐藏的更是一个城市发展的全新机遇。M13号线开通人文护理学教研室召开教学研讨会
为认真贯彻落实学校和学院新时代本科教育改革与发展大讨论工作部署会精神,6月26日上午,人文护理学教研室召开教学研讨会。会上,教研室各课程负责人结合教学经验及承担课程的特点,汇报了课程改革与发展情况,就我院举行医院管理高级研修项目2019届学员结业典礼
6月21日,四川大学华西医院医院管理高级研修项目2019届学员结业典礼在临床教学楼多功能厅举行。四川大学商学院副院长吴鹏,我院医院管理研究所名誉所长郑尚维、常务副院长黄勇、副院长黄进等20余位嘉宾,医Steam大奖提名投票开启 选择今年你最爱的11款游戏!
随着日前 Steam 秋季促销的举办,一年一度的 Steam 大奖投票活动也正式开启。截至太平洋时间 12 月 4 日上午 10 点北京时间 12 月 5 日凌晨 2 点),Steam用户将可以投票选真三国无双14e:重温经典,畅享战斗激情
真三国无双14e是一款三国题材的动作游戏,玩家可以选择自己喜欢的三国英雄以及他们的技能,与其他玩家进行竞技,体验战国时期的热血感觉。真三国无双14e:重温经典,畅享战斗激情熟悉历史的朋友们,一定对三国郑铮:李导主要让减轻压力 力争能继续保持竞争力
郑铮:李导主要让减轻压力 力争能继续保持竞争力_比赛_对手_裴力www.ty42.com 日期:2022-01-25 15:31:00| 评论(已有327809条评论)我emo了发朋友的情绪文案 适合深夜发的emo的句子
日期:2021/8/24 8:15:00作者:网友整理人气:0我来评论导读:最近全网都超级火的我emo了文案来分享给大家哦,很多小伙伴可能还不知道是什么意思,就是指情绪上不稳定相当于“我抑郁了”。吉林:十一“黄金周”将至 警惕保健食品促销陷阱
中国消费者报长春讯记者李洪涛)9月27日,记者从吉林省消费者协会获悉,今年7月,吉林省消协联合吉林省律师协会开通了老年人消费维权绿色通道,安排专职工作人员负责受理老年消费者咨询与投诉,对需要法律援助的今日讯!乘联会:2月1
(资料图片)乘联会发布数据,2月1-12日乘用车市场零售46.4万辆,同比去年增长46%,较上月同期下降18%。2月1-12日新能源车市场零售11.4万辆,同比去年增长106%,较上月同期下降18%。让自己适应孤独的朋友圈文案 不要惧怕孤单的说说
日期:2021/9/30 8:31:00作者:网友整理人气:0我来评论导读:每个人看似光辉靓丽的生活背后都有不为人知的心酸和压力,所以我们要慢慢的学会适应生活中的压力和难过,也不要惧怕孤单。病理科开展《压力与情绪管理》专题讲座
6月20日上午,病理科举办《压力与情绪管理》心理辅导专题讲座,病理科全科医护人员聆听了讲座。病理科作为医院的核心医疗支撑科室之一,日常承担着繁重的临床病理工作。为了每份病理报告都能给病人和临床医生提供静大大时尚服装(静静服饰)
静大大时尚服装静静服饰)来源:时尚服装网阅读:1023怎么搭配衣服才好看图片裙装中的神奇法宝碎花裙出镜,搭配短款的外套,简直是省高又遮肉,适合约会又适合压马路,周末搭配的必备。肩宽要避免穿泡泡袖的衣服中老铁路建设取得新突破
EAFC24利物浦球员评分!范迪克、萨拉赫、阿利森89分领衔
EAFC24利物浦球员评分泄露!范迪克、萨拉赫、阿利森89分领衔,新援麦卡利斯特84、索博斯洛伊82、远藤航80、赫拉芬贝赫79。标签:利物浦卡利利森斯洛