编者按:本文来自极客公园,作者:刘丢丢,36氪经授权发布。
GIF 图是表达情绪的好方式,但在层层传播中总会被压缩,分辨率变低,图像模糊。为了提升用户的斗图体验,Gfycat 希望用机器学习来制作更高分辨率的 GIF 图。
在此之前,Google Brain 团队已经能够将低分辨率图片复原。这种方法基于深度学习和神经网络算法,使用了两种网络,「调节网络」用来将低分辨率图像的像素映射到高分辨率图像中,用人工智能来进行「图像插值」,另一个「先验网络」可以通过分析现有图像的像素信息来为目标图像添加细节。这两个网络结合就能输出高分辨率的图片。在没有其他信息的情况下,Google Brain 可以将一张 8x8 像素的图片还原为与原图较为接近的图。
图片来源:Google Brain
与还原低分辨率图片不同,GIF 图的还原主要是对视频进行识别,而不是图片。因为大部分 GIF 都可以找到与之对应的高清视频源,Gfycat 要做的就是利用机器学习让 GIF 图和视频更完美地匹配。
很多用户上传 GIF 图时不会注意分辨率,Gfycat 将用 AI 技术找到与 GIF 图匹配的视频。他们为 GIF 图中的每一帧创建了一个模型,然后与高清视频匹配,并分析出 GIF 图来自哪个片段,最后制作出高清 GIF 图代替原来的版本。
机器学习可以帮助将这一过程自动化,比如用户上传名人 GIF 图时经常忘记加标签,Gfycat 正在训练系统自动区分不同的面孔。
图片来源:Gfycat
另一个优化方法是识别 GIF 图中的文字,Gfycat 根据统计分析 GIF 图中可能出现字幕的位置,然后识别出文字,并将其转化为数字文本,以方便和视频更好地做匹配。
图片来源:Gfycat
其实除了低分辨率,GIF 图的质量还受水印的影响,不知道这会不会影响机器学习的识别。如果替换高清 GIF 图的方法能够实现的话,对整个 GIF 图市场会是一次巨大的革新。面对日活 3 亿的对手 Giphy,从技术上进行突破是个不错方法。