当前位置:体坛均波-有意思吧 > 2017236期双双字谜

2017236期双双字谜

发布时间:2019年1月18日10时13分28秒

CMU德扑AI赌神,现已拿下美军千万美元大单__财经头条注册登录新闻头条号新浪财经APP宏观经济A股港股美股基金理财黄金期货能源互联网金融房地产更多外汇管理消费科技互联网手机保险数码科普创业银行新三板其他CMU德扑AI赌神,现已拿下美军千万美元大单CMU德扑AI赌神,现已拿下美军千万美元大单2019年01月18日07:49量子位语音播报缩小字体放大字体微博微信分享0腾讯QQQQ空间乾明发自凹非寺量子位出品|公众号QbitAI还记得那个玩德扑的AI吗?没错,就是Li2017236期双双字谜bratus,中文名冷扑大师,在2017年举办的德扑人机大战中,一举成名。

在2017年的比赛中,它历时20天,战胜四位顶级人类德扑玩家,赢得176万美元,引发大量关注。

许多人都非常好奇,这个AI是不是可以靠打牌就能变现了?但它没有继续自己的“赌神”之路,而是在军事领域开了花:拿下美国军方千万美元的合同,为期两年。

对此,它的开发者TuomasSandholm教授并没有透露太多细节,只是说它可以在模拟战争中做出军事决策,比如在哪里部署军事单位。

其他的一些研究员表示,冷扑大师背后的技术,可以更好的让战争游戏和模拟练习发挥它们应有的作用,帮助提高军队的作战水平。

美国军方看中了什么?冷扑大师,是基于博弈而生的。

与其他棋类AI相比大有不同。

在围棋、象棋等棋类比赛中,比赛双方能够共享所有信息。

在博弈论中,这被称为“完美信息博弈”。

在德州扑克中,牌并不会全部发完,每个人手中的牌对其他的选手来说,也都是隐藏的。

任意时间,任何一个玩家,都只能观察到一部分的情况,然后据此做出决策。

这是一种“不完美信息”的博弈。

在现实世界中,不完美信息才是常态,各种看不见的隐藏信息产生了大量的不确定性。

尤其是在军事场景中,各种谍报与反谍报工作错综复杂,怎样做出最正确的决策,一直是难题所在。

能够在德扑这种不完美信息的场景中打败顶级人类选手,就证明了冷扑大师的价值所在。

那么,它是怎么做到的呢?背后原理冷扑大师最核心的概念就是纳什均衡,应用的是CounterFactualRegretMinimization(CFR,反事实遗憾最小化)算法,这是一个类似强化学习的算法,但是更高效。

在早期的版本中,主要由三个模块构成。

其中一个用于赛前,两个用于赛中。

赛前的模块,是纳什均衡近似,使用蒙特卡洛CFR算法(CFR的变体),抽取最重要的博弈信息,比如针对某一手牌对应的战略,应用强化学习等方法寻求提高和改进。

比赛过程中的模块分别是残局解算和持续自我强化。

前者是针对对手的,对手出新招之后,冷扑大师就会展开残局解算,寻找最佳应对策略,这个过程会在比赛中持续进行。

后者是针对自身的,用于发现自己的漏洞,找到更多细节进行自我强化,然后得到一个更好的纳什均衡。

更多的细节,都被Sandholm教授写在了相关的论文中。

这篇论文获得了2017年NIPS最佳论文奖。

(传送门在文末)这样实时求解的过程,耗费的算力非常巨大。

想要运行冷扑大师,最低都需要50个笔记本。

而进行一对一的无限注德扑比赛,每手需要50个CPU进行运算,而且响应速度也没法得到保证。

不断进化2018年5月,Sandholm教授团队提交了一篇新论文。

这篇论文引入了一种深度有限求解方法,允许对手在深度有限的情况下为游戏剩余部分选择多种策略。

每一个策略中都会为叶节点生成一组不同的值,从而使智能体对对手可能采取的不同策略保持鲁棒。

在这种方法下,使用一块4核的CPU和16G的内存(相当于一个笔记本)提供的算力,就能击败之前的两个顶级的智能体。

一个是2016年计算机扑克竞赛的获胜者BabyTartanian8,一个是2018年计算机扑克竞赛的获胜者Slumbot。

而且,在响应速度上也能够与人类大师媲美,平均一手只需要20秒。

(论文传送门在文末)11月份,Sandholm教授团队再次提交了一篇论文。

这次,他们介绍了一些优化CFR算法的方法。

分别是:采用各种策略在早期迭代中减低后悔值(regret),在某些情况下,对正负后悔值采用不同的方式。

采用各种策略重新迭代,来获得更好的输出策略。

采用非标准化的后悔值最小化方式。

利用乐观后悔值匹配(optimisticregretmatching)。

这些方法,能够帮助CFR算法在许多环境中提高性能。

在测试中发现,应用了这些策略的蒙特卡洛CFR算法与vanilla蒙特卡洛CFR算法相比,模型在德州扑克上具有更优越的表现。

想要了解更多的细节,可以阅读论文。

(论文传送门在文末)越来越多的军用AI2018年年初,Sandholm教授创立了一家名为“StrategyRobot”的公司,来将冷扑大师的技术军用化。

8月下旬,这家公司就与美国军方签订了一个1000万美元的合同,为期两年。

这一合同,被认为是对国防创新部门(DefenseInnovationUnit)的支持。

这是一个2015年成立的组织,在五角大楼内办公,旨在帮助美国军方更快地利用新兴的商业技术。

在军事化的道路上,冷扑大师并不孤单。

2017年,时任美国国防部长的JamesMattis表示,在采用机器学习等技术方面,国防部远远落后于科技公司。

同年,五角大楼启动了一项名为ProjectMaven的计划,旨在通过商业化的AI技术来改变军事行动方式。

初始项目,机器学习技术来标记无人机监控视频中的对象,参与者有AI创业公司,也有谷歌在内的大公司。

军方对AI的兴趣越来越浓,让一切推进基础技术的人员感到不安。

2018年,在上千名谷歌员工联名抵制,学界大牛纷纷联署反对之后,谷歌退出五角大楼的ProjectMaven计划,并发布使用AI的七项原则。

其中就包括不会将AI技术应用于开发武器等等。

不过,谷歌也表示,将会继续与政府和军方展开AI合作,例如网络安全、培训以及征兵等领域。

在Sandholm教授看来,对军方使用AI的担忧言过其实。

他认为,这项技术对于保护国家安全和提高作战效率非常重要。

“我认为,这将使世界变得更加安全,”他说。