在《不要小看日本的AI公司》这篇文章中,有提到一家日本公司「PaintsChainer」,他们利用AI算法为漫画线稿上色。用户只需上传一张黑白线稿,便可生成不同风格的画稿,其中文网站已上线。
PaintsChainer
通过浏览官网,我们发现PaintsChainer支持“提取线稿”、“指定上色颜色”、”指定上色风格“以及在pixiv Sketch中自动上色。
在此前对黑咔相机的融资报道中,36氪在文末提到了喵图,一家计算机视觉团队,他们与上文的PaintsChainer一样切入动漫行业并于近期推出了一款为动漫线稿智能上色的APP。
以下是喵图为线稿上色的效果:
经测试,喵图APP的单张线稿的渲染时间在0.5~1秒之间,PaintsChainer需要3~5秒。
对于线稿上色,36氪过去也有过报道与了解。
在动漫制作的流程中,线稿上色处于脚本创作、分镜与线稿之后。由于门槛不高但却极度耗时,一般由初入行的画师负责。近年来随着国内动漫作品数量的暴增,动漫CP对上色人员的诉求也愈来愈大,但人工成本的攀升与有限的上色效率成为了制约动漫内容提高产量的障碍。
喵图CEO马慕晗认为,上色环节虽然繁杂耗时,但每部作品的画风与笔触几乎一致,这对善于学习和模拟的AI会是个很好的应用场景。他向36氪列举了一组数字:一部25分钟标准的动漫,每秒约12副图,每集会有18,000副图,一位熟练的上色师一天工作10个小时,平均能完成20~30副,一个10人的团队不算后期,周末不休需要2个月时间;但是如果用人工智能的方式,在目前喵图的算法与算力基础下只需要150分钟,相比人工操作,提升2000倍的效率。不过马慕晗也提到,AI渲染后依然需要人工去复查,辅助机器。
毫无疑问,对于动漫行业,机器为线稿自动上色将对内容产出的效率有极大的提升作用。
基于计算机视觉技术和二次元领域数据的积累,喵图在业务上开拓了两个主要板块,其一是以自动上色技术为核心的动漫制作加速服务,主要为动漫CP输出产能,提高作品制作效率并收取服务费用。
受限于动漫行业缺乏统一的制作规范以及每部作品的风格都不同,短期内该技术会以项目制为主,同时喵图也在尝试推出批量化制作需求的工具平台,希望能够定义一套高效的制作流程。
第二个板块,即跳出为制作方服务的局限,面向平台方利用图像识别算法的能力提供内容增值服务,核心是提升行业盈利能力。
展开说,喵图会基于对动漫内容的识别与理解,为平台内容提供动态的交互式体验和嵌入式广告,提升平台长尾流量的变现能力,比如基于对人物及场景的识别与理解,精准推送或植入与情节相关的广告。这一模式在视频领域和直播领域已有成功应用,在落地动漫领域时,商业模式还需验证。
相比第一个方案,第二个方案更具备实现规模化营收的潜力,喵图正在同时推进这两条业务线。
算法层面,喵图与36氪之前报道过的Versa和黑咔相机类似,都是基于图像识别的算法,先做人景分离,再做区域识别,即结构化上色目标并理解区域语义,最后用风格迁移的算法将学习的样本风格给线稿上色,难度并不大。
喵图的最大优势在于积累了大量动漫领域的垂直数据,包含了人物数据、场景数据、人物内部细粒度的标记数据以及漫画文本数据,这些数据的沉淀直接影响最终的渲染效果,也能保证喵图在整个领域的先发优势。
动漫产业对效率的提升的需求是客观存在且急迫的,不仅是动漫CP本身,平台也希望能够通过提升动漫内容的更新频次进一步提升平台的活跃度并孵化更多新的内容。
与此同时,需求虽然客观存在,但动漫内容创作是一个劳动力密集产业,利润率并不高,因此会出现有付费意愿但没有付费能力的普遍情况。36氪认为,在动漫产业,内容生产效率的提升必须与行业盈利能力的提升同步推进。
最后简单为大家介绍喵图科技的融资历史与团队。
喵图科技曾于2017年12月完成天使轮融资,投资方为云天使基金,目前正寻求1200万人民币的Pre-A轮融资,用于团队扩招以及B端产品的迭代。团队方面,创始人兼CEO马慕晗本科毕业于清华大学产品设计专业,研究生毕业于美国伊利诺伊理工大学设计学院(全美排名第一设计研究生院),主修产品设计,后在微软研究院从事图像处理与技术研发,负责产品设计和算法编程。