编者按:本文来自微信公众号“量子位”(ID:QbitAI),作者郭一璞、问耕。36氪经授权转载。
谁说AI只能搞一些一本正经的工作?
谷歌最近就放出了几只比较搞笑的AI,可以完成一些不走寻常路的工作,比如:帮你实现靠脸吃饭,让你说的跟唱的一样~
是谓:谷歌AI的七个“不正经”玩法。
每个我都能玩一整天~
正常人弹琴,都是乖乖的坐在钢琴前按键盘,或是以演奏姿势抱着吉他、手风琴弹。
但是谷歌这个名叫Body Synth的项目不一样,是让你在电脑前,以手为键,以腿为弦,手舞足蹈,自己弹自己。
先看一下效果,请欣赏由量子位带来的谷歌AI乐器独奏:《和弦》
其中的原理很简单,打开摄像头,自动开启人体姿态识别,四肢和脑袋分别对应不同的音调。
只要监测到身体某个部分有动作,就可以发出对应的音调。
跟我念,
1~2~3~4~5~6~7~
do re mi fa so la si~
以默认的C大调为例,摇头晃脑,发出的就是so的声音。
动动左手,就是mi。
动动右手,就是do。
动动右腿,就是低音so。
动动左腿,就是低音do。
即使转身背对镜头,也是一样可用。
另外,你还可以设置音色音调。
或者打开语音控制开关,默认的音色是吉他,喊一声strings,就可以变成管弦乐,喊一声drums,就可以变成鼓点。
除了“靠四肢弹琴”,还可以“靠脸吃饭”。
当然,不是真的靠脸吃饭的意思,而是你可以用脸来完成一系列工作(混口饭吃)。
比如说,依靠Sound Canvas工具,你就可以用脸来画画或者写字。
打开Sound Canvas之后,默认是用键鼠来画画。
这太低级了,简直是windows 98自带画图程序的水平。
所以,需要先把Tracking改一下,选中Body,就可以打开摄像头,用脸画画了。
此时,你脸的朝向就是屏幕上画笔的位置,慢慢移动自己的脑袋,微微转头,就可以在屏幕上勾勒线条。
比如,写“量子位”三个字。
人呀,一旦发现了脸的用途,就开始开发新工具。
除了写字,还可以弹琴。
Keyboard就是用来弹琴的。和用脸写字的操作差不多,脸的朝向就是小圆点在屏幕上的位置,操控小圆点敲击屏幕上的琴键,就可以发出对应的声音。
和前面的“跳舞弹琴”一样,Keyboard上也可以选择不同的音色音调,如果你觉得只有5个音不够发挥的话,可以设置到最多15个琴键,两个八度足够演奏很多音乐了。
当然,两个八度的话,琴键太窄了,脸太大不好操作,可以切换回鼠标操作……
熟悉了之后,还可以玩Clarion Lite,虽然也是一个用脸弹琴的项目,不过做了几种不同的花样。
屏幕上的每个彩色区域都应对这一个音调,同样用脸把小圆点放上去即可触发,摇头晃脑,乐声出现。
但是,演奏乐曲对音乐知识还是有一点要求的,有没有小白即刻上手(上脸)的操作?
没问题,谷歌还准备了“用脸当DJ”的Sampler项目,包含鼓点、吉他、号角、古钢琴四段简短的音乐,只要用脸控制小圆点移动上去,就开始自动播放。
现在,请欣赏下一个节目,由量子位为大家演奏《靠脸吃饭的音乐家》。
(中间有一段大家熟悉的歌,听出来的朋友评论区见)
我有个同事,就是雷军的粉丝,不是米粉,单纯就是B站鬼畜区知名歌手雷布斯的粉丝。
鬼畜简单来说,就是通过调音,把一句话变成歌声~B站上个个都是人才,但对于普通人来说,这种操作还是很难。
不妨试试这个Word Synth吧~
你只要输入一些单词,然后就能按照自己的喜好调节旋律,探索不同的声音、声调的组合,尝试构建鬼畜一般的歌声。
我们尝试了一下,限于只能放三个视频,这里就用一个动图和一个音频呈现了:
这个项目背后,主要应用了谷歌云的文字转语音API,它靠DeepMind开发的WaveNet来合成你听到的这些声音。
这其实是一个音乐可视化的工具。
所谓的音乐,既包括人声也包括多种乐器。你可以打开麦克风自己哼唱,也能调用内置的声音看看效果。
所有输入的声音,能够以不同的模式呈现,比方Hilbert Scope以及Spectrogram,能够显示出声音的细致纹理和旋律的形状。
据一位聋人音乐家表示,这个工具还能更好的帮助他们在听不到或者听不清声音的情况下,更好的学习歌唱。
但,谷歌搞出这么多奇妙的功能,并不是只想让你玩一天而已。
所有以上这些,是一个被称为Creatability的项目,旨在探索如何通过网络和AI技术,让更多人能够释放自己的创造力。
纽约大学的Claire Kearney-Volpe,曾经作为艺术治疗师遇到过各行各业的人,她认为每个人都能从参与创作的过程中受益。
例如通过画画、制作音乐等方式,帮助患有自闭症的中学生;借助不同的技术手段,为盲人构建工具以完成晚宴的规划和设计。
正是秉持着同样的目的,她和谷歌团队、无障碍社区的伙伴合作,共同搞出了Creatability项目。
在这个项目的帮助下,即便你听不见,也能参与音乐创作。即便你行动不便,可以对着屏幕动动手指或者脑袋,也能感受到音乐的魅力。
在谷歌的宣传片中,行动不便人士的笑容真的很灿烂。
这一项目背后的AI动力,主要是谷歌的TensorFlow.js等工具,让机器学习技术能够在浏览器中实现。
无论你是老师、学生、研究人员还是艺术家,都可以参与其中。你可以玩,也可以利用相关技术,开发并提交自己创造的项目。
当然前提是你还得有科学的方法才能访问~
这些项目的官网:
g.co/creatability
GitHub:
https://github.com/googlecreativelab/creatability-components