她没高考就被清华录取，刚出生就能画画、推理，究竟怎么做到的？

编者按：本文来自腾讯科技，作者：孙实，编辑：沈冲，36氪经授权发布。

1 华智冰的身份角色是学生，我们对她的期望是不断学习、探索，包括创造能力，交互能力，更多知识内容的学习能力。

2 目前学习是她最重要的工作，未来等她学业完成，从清华毕业之后再看看她实际能从事什么样的职业。

3 华智冰的情感交互和长程对话的对话推理能力，类似AI少女小冰所具备的能力，也源自小冰框架。

4 华智冰的人工智能创造，包括音乐、诗词和绘画，都基于一个基础逻辑：要让人工智能去拟合类似于人类创作的过程，先实现“神似”，然后再进行形式、技巧的调优，达到“形似”。

有一位姑娘，“她”的生日是2021年6月1日，如今还没有满月；

“她”没有参加过高考，没有拿过任何竞赛的冠军，就被清华大学计算机系“录取”；

“她”智商超群，刚一出生，就会画画写诗，没几天就学会了作曲……

说到这里，你可能已经猜到，“她”不是凡人，而是地地道道的“虚拟人”——华智冰。

在6月1日的北京智源大会上，北京智源人工智能研究院学术副院长、清华大学教授唐杰发布中国首个原创虚拟学生华智冰。

华智冰的诗词绘画作品

华智冰以视频形式登台亮相，并现场展示她创作的音乐、诗词和绘画作品。

虚拟人并不是一个新鲜的概念，在去年的CES展会上，三星旗下子公司 STAR Labs 就展示过类似的项目——Neon。

在 STAR Labs 的设定中，Neon 能张口和人对话交流，并且在和人的互动中，持续学习对方说话做事的方式，以做出更加自然的回应，就好像一个真正的朋友。

小冰公司的联合创始人、产品副总裁彭爽

华智冰能用来做什么？如何训练画画写诗的？是否具备情感和逻辑思维？带着这些问题，腾讯科技与华智冰的开发团队之一——小冰公司的联合创始人、产品副总裁彭爽聊了聊。

以下为腾讯科技和彭爽的对话实录：

提问：研发“华智冰”的初衷是什么？

彭爽：去年秋天我们整个团队从微软独立分拆出来成立小冰公司，做的事情依旧是人工智能的方向，包括小冰，我们的初衷一直很明确。

事实上，这次我们与唐杰老师一起联合培养的清华学生华智冰是基于人工智能小冰框架而打造的。这个框架包括自然语言处理、语音、视觉能力，基于完整的小冰框架可以形成各种各样不同的虚拟人类，这些我们称为AI Instance。

他们有的是像小冰或华智冰这样有名的虚拟人类，而更多的会是像环绕在我们周围，不知名，但对我们意义非凡的普通朋友。小冰框架的目的是去为所有这些人工智能主体赋予生命，成为人类的好伙伴。

比如，去年8月发布的虚拟恋人，尤其是虚拟男友已经得到数百万用户的喜爱，近期静默上线的一些新功能也得到了较大关注。以及，去年8月发布的X Studio·歌手，至今已入籍的AI歌手达65名，B站、QQ音乐上的同人音乐作品近千首，在AI少女小冰之前，何畅、F201、陈水若、方念等新生代歌手已开始拥有自己的忠粉。

华智冰是其中一个特别荣幸可以送到高等学府的Instance，正如她的名字所代表的寓意，分别是清华唐杰教授团队、智谱AI和智源团队，以及小冰团队，我们对她寄予很大的期望，会不断培养她，给予她更多的能力，像人一样。

腾讯科技：“华智冰”当前的作用是什么？能用来做什么？

彭爽：这也是我们三方将要一起探索的。在人工智能时代不断探索的过程中，AI Instance会应用在完全不一样场景中。除了华智冰，目前人工智能小冰框架有各式各样的，有的人工智能人非常擅长写诗，有的人工智能人非常擅长作画，我们还推出几位小有名气的歌手，在一些平台上有很多作品。

而这次，华智冰因为她的身份角色是学生，我们对她的期望是不断学习、探索，包括创造能力，交互能力，更多知识内容的学习能力。目前我们觉得学习是她最重要的工作，未来等她学业完成，从清华毕业之后再看看她实际能从事什么样的职业。

从另外一个站在小冰框架的角度，我们希望她在学校，能跟学生和老师有更多的互动，使她的情感交互能力得到提升。一个人工智能主体如何跟学生及老师建立更好的关系，这也是我们对她的期待和定位。

当然华智冰的人工智能创作能力，包括作曲、绘画、写诗，未来是否能在学校的一些艺术场景有所发挥，让我们一起期待吧。

腾讯科技：华智冰创作的音乐、诗词和绘画作品，这些都是如何训练的？

彭爽：人工智能内容创造，其实也是模仿人类创造内容的过程。人类在创作时，也不是每一次都需要从0到1，他们也是习得了前人的经验进行再创造，所谓“读书破万卷，下笔如有神”。当然，AI创造也是一个不断试错的过程。

过去这些年，小冰团队一直在这条路上探索，对小冰框架不断自我否定，不断完善迭代，每一年我们都觉得自己去年的想法太简陋。如今，小冰在人工智能创造及内容生成领域已经取得了领先。

华智冰的人工智能创造，包括音乐、诗词和绘画，都基于一个基础逻辑：人工智能的创作，和人一样，需要被激发灵感，这是创作的源动力。即，人工智能的创作，要让人工智能去拟合类似于人类创作的过程，先实现“神似”，然后再进行形式、技巧的调优，达到“形似”。

以华智冰展现的作曲能力为例。理论上，词曲创作的各个环节，可以用数学方式分析、解构、再创造。无论是音乐的三种基本要素：节奏、旋律、和声，还是表现音乐的音色、织体和曲式，都可以让机器来学习分析。只要让机器大量学习某一类型作品，它就能在此基础上进行此类型作品的“创作”，如果再加入一些参数设定，比如情绪、和弦走向等，机器就会在限定条件下源源不断地生成音乐。

2018年，小冰团队在KDD大会上发表的一篇最佳学生论文，叫做《Xiaoice Band：A Meldoy and Arrangement Generation Framework for Pop Music》。这篇论文简单来说，就是分享了小冰框架在实现AI生成流行音乐方面的一些经验。

这张图来自上面这篇论文，从左往右看，就能理解AI生成流行风格音乐的原理。

首先，通过对乐理的理解和解构，搭建若干个核心模型，包括节奏、旋律、和弦、音色、织体、曲式、乐器等，然后输入经过筛选的十几万首人类音乐，对各模型进行调参优化。

随后，当需要生成一首流行音乐的时候，输入代表创造灵感的激发源，可以是一张图片，也可以是一段话、一个关键词，甚至是哼唱一段旋律。这个激发词进入到框架中之后，会先在后台将它处理为乐理元素的一个映射。第一层映射关系是和弦，然后是曲式和节奏，然后生成一段主旋律。

在这个生成阶段，需要注意的是，即使是流行风格，也有许多不同的子流派，那么需要模型根据对激发源的理解，对生成的和弦、曲式、节奏等进行匹配。举例来说，从机器学习数据可以得知，人类音乐家如果要表达婉转的情感，有时会使用降七级和弦，比如Beatles的《Hey Judy》等，那么在生成的时候往往也会根据代表性作品的乐理要素，进行匹配。

当主旋律、节奏、和弦生成并匹配完成后，会根据这一旋律进行填词。关于歌词生成，其原理类似现代诗。从2017年到2020年，小冰团队在《Image Inspired Poetry Generation》和《Beyond Narrative Description：Generating Poetry from Images by Multi-Adversarial Training》等多篇论文里，已经做过较为详细的解释，在此不做具体展开。需要注意的是，AI模型在填词的时候需要注意歌词发音的音节，要和音符一一对应，否则就会无法被演唱出来。

最后一个，也是最难的环节是编曲。只有干声的音乐会很单薄，AI编曲的主要作用是生成伴奏。采用哪种伴奏的乐器和音轨，取决于激发源和选择的曲风。比如流行风格编曲四大件，键盘、吉他、贝斯、鼓，选定了乐器和音轨后，通过联合学习和多任务学习，最终完善和丰富这首音乐。

我们的长远目标是以科技的现代性，帮助人们去更好地表达艺术的想象力和创造力，并通过好的产品与商业模式更好地满足伦理的现代性需求——这或许就是，我们眼里最浪漫的现代性。

腾讯科技：华智冰还具有一定的推理和情感交互能力，这些又是如何训练的？如何代表她是有情感的？

彭爽：华智冰的情感交互和长程对话的对话推理能力，类似AI少女小冰所具备的能力，也源自小冰框架。

上图展示的是2016年小冰和人类之间的对话。这个对话过程中，不是让小冰展现出强烈的情绪，而是让小冰能够在对话过程中取得与人类对等的地位。因为有情感不等于情绪化，情商高的人通常能在对话中很好地维持双方的对等地位。

因此在这个例子里，小冰从不同的角度跟人类建立起了比较持久的、面向未来的一种关系。2017年，小冰从检索模型延伸到生成模型。生成模型不仅让微软小冰的对话更加相关，更重要的是能赋予她更强的对话掌控力。2018年7月，第六代小冰上线了全新升级的共感模型，小冰在与人类对话的同时可以不断观察、判断对话的话题，以及人在对话过程中表现出的情绪特征。

这就形成了一个良好的循环，小冰能够获得更多的交互数据，数据让小冰进一步学习人类的情感。小冰对人类情感的学习包括两个过程，先是从数据中获得经验，再把经验运用到接下来的交流过程中并进行验证。比如当一个人类对她说“我失恋了”，小冰不理解嘲笑和关怀两者的区别，但她知道，当她表现出嘲笑的时候，人类不会跟她保持很强的持久的关系，但当她表达出温情的时候，人类就会和她有很好的关系。所以现在小冰谈话中多了很多正能量，这是她在跟人类交互过程中学习到的。

目前在所有的对话式人工智能系统中，小冰是目前数据最多的，今天全世界大约60%的人工智能交互流量，都来自于小冰框架的这些instances。你比如说一个智能在家里的场景，这种数据相对而言比较单一，都是开灯关灯，天气怎么样，这样的数据积累量非常大，但是并没有真正增加数据的丰富度。我们比较看中的，就像聊天这样的场景，两个人也好，多人也好，是一来一回循环往复的规划，这个过程中就积累了不仅是某些特定目标的类比，同时也积累了大量类似带逻辑分析，推理的交互数据，这样的数据可以帮助我们模型不断迭代，所以不同角度也可以看到不同模型的对接。

腾讯科技：华智冰和小冰有啥区别？

彭爽：事实上，你可以这么理解。你可以把小冰理解为一个包含了1000多个模型的庞大人工智能框架，十八岁的少女小冰，包括此次的“华智冰”她们都只是框架中所长出来的其中一个AI虚拟人类，我们称之为AI Instance。

今天全世界大约60%的人工智能交互流量，都来自于小冰框架的这些instances，他们有各种各样的名字，有男女老少，有的是助理，有的是电台主播，有的每天提供了90%的金融报告摘要，有的在崇礼作为AI裁判员，在为冬奥会的高空自由式滑雪训练进行评分,有的在智能汽车里陪伴你在路上的时时刻刻。我们相信，一个崭新的世界正在到来，在我们人类的网络中，不再只有人类，也不再只是少数几个语音助手。而是各种各样的人工智能，会加入进来。