Google DeepMind团队在《自然》杂志发表论文，公布玩游戏比人厉害的AI是如何做出来的

电脑会玩游戏已经不算稀奇，比方说，一般人玩棋类游戏已经玩不过计算机了。但如果事先不告诉计算机应该怎么玩，而只是给它提供这三样东西：控制器、显示器、游戏得分，让它看着显示器的显示控制控制器，然后要求它尽可能得高分，那基本上大部分的AI就一筹莫展了。

所以，当2013年12月DeepMind的团队首次展现他们靠不断试错学习最后成为击败人类专业玩家的游戏高手AI时，许多在场的AI专家都感到有些震惊。这些AI靠着对游戏视频的观察来寻找出模式，然后操作控制器，并获得得分的反馈结果（高分奖励）。在反馈中不断调整自己的控制，最后AI完全靠自学而不是编码学会了玩49种Atari视频游戏，其中43种游戏玩得比之前的AI都要好；并在23种游戏中击败了人类的职业玩家。这些游戏当中，简单的弹球和拳击游戏AI玩得最好，但是像经典的消砖块Breakout游戏也能玩得很好，甚至还学会了打开一条通道让球跑到后面去消掉砖块（参见下面视频，注意观察AI如何在游戏中改进自己的策略），这种技巧往往只有老练的玩家才会。许多研究人员1年后对他们如何做到仍感到困惑不已。不过现在他们不用困惑了，因为DeepMind团队现在已经在《自然》杂志上公布了自己的研究成果：Human-level control through deep reinforcement learning—通过深度强化学习实现人类水平的控制。

总的说来，DeepMind的AI的设计核心是如何让计算机自行发现数据中存在的模式。其解决方案是深度神经网络与强化学习等方法的的结合。AI并并不知道游戏规则，而是用深度神经网络来了解游戏的状态，找出哪一种行为能导致得分最高。尽管利用模拟神经网络来教电脑玩游戏（如军棋游戏）的方法已经使用了几十年，但是从未有人能像DeepMind团队那样以如此有用的方式结合到一起，智能系统普朗克学院的Bernhard Schölkopf主任称，其方案展现出了令人印象深刻的可适应性。

这一方面是得益于现在计算能力的提高使得AI可处理规模要大得多的数据集，要知道，观察Atari游戏相当于每秒处理200万像素的数据。另一方面则是得益于DeepMind结合了强化学习来训练AI，而且是在高维度感觉输入中采用的端到端强化学习。相对于以往计算机会玩的游戏，如国际象棋等，这次计算机玩的游戏更接近现实世界的混沌状态。Google的智能设计师Demis Hassabis称，这是第一种能在一系列复杂任务当中与人类表现相当的算法。

那么Google会不会用这种AI来分析自己的大规模数据集呢？Hassabis并没有给出任何肯定的说法，但称该系统对任何连续性决策任务都有用。如果我们把Google收集的用户数据比作像素，把广告收入比作得分的话，DeepMind的AI系统一样也可以用在Google的核心广告业务。让AI去置放的广告，点击率越高就给它更高的分数，这样AI能够不断演进优化广告的投放算法。而伦敦大学金斯密斯学院的Michael Cook甚至给出了确切的数字，称Google已经在7款产品中采用了DeepMind的技术。其中会不会包括Google研发的自动汽车呢？也许用不了多久我们就能感受到有了那颗DeepMind支撑的产品的表现差异了。