当谈论AI投资回报率时，我们在谈些什么？

报道 | 吴昕

与以往任何时候相比，现在各企业都对人工智能和机器学习的潜力充满信心并加以投入。

根据 2022 年 IBM 全球人工智能采用指数（IBM Global AI Adoption Index 2022），35% 的公司报告称目前在其业务中使用人工智能，另有 42% 的公司表示他们正在探索人工智能。

与此同时，麦肯锡的一项调查（The state of AI in 2021）发现，56% 的受访者表示，他们在 2021 年至少在一项职能中采用了人工智能，高于 2020 年的 50%。

但对人工智能的投资能否带来直接影响公司底线的真正投资回报率？

根据企业MLOps解决方案提供商 Domino Data Lab 最近的 REVElate 调查，该调查对 5 月份纽约市 Rev 3 会议的与会者进行了调查，许多受访者似乎都这么认为。事实上，近一半的人预计，数据科学会带来两位数的增长。五分之四的受访者 (79%) 表示，数据科学、机器学习和人工智能对其公司未来的整体增长至关重要，36% 的受访者称其为最关键的因素。

当然，实施人工智能并非易事。其他调查数据显示了硬币的另一面。例如，人工智能工程公司 CognitiveScale 最近的调查数据发现，尽管高管们知道，数据质量和部署是成功开发应用程序以推动数字化转型的关键因素，但超过76%的高管不确定如何在12-18个月内实现目标。此外，32%的高管表示，引入人工智能系统所花的时间比预期的要长。

CognitiveScale 最近的调查数据发现，76% 受访者表示在扩展他们的人工智能工作方面遇到困难。

CognitiveScale最近的调查数据发现，32%的高管表示，引入人工智能系统所花的时间比预期的要长。而只有 19% 的人表示花费的时间比预期的要短。

值得注意的是，75% 的 AI 高管表示，信任和透明度对整体 AI 应用程序开发很重要，因为他们处于受监管的行业，63% 的人表示可重复性是 AI 开发过程中的关键因素。

「人工智能的潜力是巨大的，虽然人工智能的采用开始加速，但理解人工智能的实施仍然是组织正在理解的事情。」 CognitiveScale 首席执行官 Bob Picciano 表示：「我们的 AI 工程调查表明，数据质量是影响组织内成功采用 AI 的最大因素。关键任务信息、可重复性需求以及信任和治理对于人工智能的成功也至关重要。」

根据最近发布的一份报告，Forrester 的 Now Tech：AI/ML 平台，2022 年第一季度报告（ Now Tech: AI/ML Platforms, Q1 2022 report）「AI 的商业案例很明确，但企业在实施和证明结果方面遇到了困难。人工智能要想产生变革性的影响，就需要工业化。这意味着搁置一次性解决方案并建立经过验证的 AI 工程实践——标准化的积木、工具和流程，从而更容易更快地以可扩展的方式推动价值。」

Bob Picciano 告诉 VentureBeat，人工智能的投资回报率是可能的，但必须根据业务目标准确描述和拟人化。

「如果业务目标是通过历史数据获得更长期的预测和更高的预测准确性，那么，这就是人工智能可以发挥作用的地方，」他说。「但 AI 必须负责提高业务效率——说 ML 模型准确率为 98% 是不够的。」

相反，ROI可以是，例如，为了提高呼叫中心的效率，人工智能驱动的能力可以确保减少平均呼叫处理时间。

他解释说，「这种投资回报率是高管们谈论的东西。」「他们不谈论模型是否准确、稳健或漂移。」

76% 的受访者表示，在扩展他们的人工智能工作方面遇到困难，对此，Cognitive Scale 的联合创始人兼首席运营官 Shay Sabhikhi 并不感到惊讶。「这正是我们从企业客户那里听到的，」他说，其中一个问题在于数据科学团队与组织其他部门之间的摩擦，他们不知道如何处理他们开发的模型。

「这些模型可能有最好的算法和精度召回，但它们被束之高阁，因为它们实际上被扔给了开发团队，然后他们不得不匆忙地试图组装这些应用程序。」他说。

然而，在这一点上，企业必须对他们在人工智能方面的投资负责，因为人工智能不再是一系列科学实验，Picciano 指出。「我们称之为从实验室走向现实，」他说。「我参加了一个首席数据分析官会议，他们都说，我该如何扩展？我如何将人工智能产业化？」

然而，并非所有人都同意投资回报率甚至是衡量人工智能是否在组织中推动价值的最佳方式。

根据安永全球首席技术官 Nicola Morini Bianzino 的说法，从「用例」角度考虑人工智能和企业，然后通过 ROI 加以衡量，这种对待人工智能的方法是错误的。

「对我来说，人工智能是一套技术，几乎可以在企业的任何地方部署——用例与相关的 ROI 分析不能区隔开，」他说。

相反，他解释说，企业需要在任何地方使用人工智能。「这几乎就像云一样，两三年前，我与客户进行了很多对话，他们喜欢问投资回报率是多少？我迁移到云的商业案例是什么？现在，大流行后，客户不再这么问。每个人都只是说，『我必须这样做。』」

此外，Bianzino 指出，讨论人工智能和 ROI 取决于你所说的「使用 AI」是什么意思。

「假设你正在尝试应用一些自动驾驶功能——即计算机视觉作为人工智能的一个分支，」他说。「这是一个商业案例吗？不，因为没有人工智能就无法实现自动驾驶。」

对于像安永这样的公司来说也是如此，它吸收大量数据并向客户提供建议——没有人工智能就无法做到。「你无法从流程中分离出这个东西——它是内置的，」他说。

此外，根据定义，人工智能在第一天就没有生产力或效率。获取数据、训练模型、改进模型和扩展模型需要时间。「这不像有一天你可以说，我已经完成了人工智能，并且 100% 的价值就在那里——不，这是一种持续的能力，随着时间的推移会变得更好，」他说。「就可以产生的价值而言，实际上并没有尽头。」

Bianzino 说，在某种程度上，人工智能正在成为经营成本的一部分。「如果你从事涉及数据分析的业务，你就不能没有人工智能的能力，」他解释说。「你能分离出这些模型的商业案例吗？这非常困难，我认为也没有必要。对我来说，这几乎就像是运营业务所需的基础设施成本。」

归根结底，组织想要的是衡量 ROI 对业务的影响——它对底线的贡献有多大。Domino Data Lab 的数据科学战略和宣传负责人 Kjell Carlsson 说。但问题是，这可能与开发模型的工作量完全脱节。

「因此，如果你创造一个能提高点击转化率一个百分点的模型，就等于为企业增加了数百万美元的利润。」他说，「但它也可以创造一个很好的预测性维修模型。」在这种情况下，对组织经济收益影响可能完全不同。「尽管其中一个可能最终成为一个更困难的问题，」他补充说。

总体而言，组织确实需要一个「平衡计分卡」来跟踪人工智能的生产。「因为如果你没有将任何东西投入生产，这可能表明你遇到了问题，」他说。「另一方面，如果你在生产中投入过多，也可能存在问题。」

例如，数据科学团队部署的模型越多，他们需要管理和维护的模型就越多。「你在去年部署了这么多模型，所以你实际上也再也承受不了其他高价值模型，」他解释说。

衡量 AI 投资回报率的另一个问题是，对于许多数据科学项目来说，其结果并不是一个投入生产的模型。「如果想对去年的交易进行定量的盈亏分析，你可能需要对此进行严格的统计调查，」他说。「但没有一种模型可以投入生产的同时，还能利用人工智能获取这一过程当中的洞察力。」

尽管如此，如果不跟踪数据科学活动，组织就无法衡量人工智能的作用。「现在的一个问题是，真正收集和分析的数据科学活动很少，」Kjell Carlsson 说。「如果你问人们，他们会说他们真的不知道模型表现如何，或者他们有多少项目，或者你的数据科学家在上周完成了多少代码托管（ CodeCommits）。」

原因之一是数据科学家需要使用非常不连贯的工具。「这就是 Git 作为存储库越来越受欢迎的原因之一，它是组织中数据科学家的单一事实来源，」他解释道。诸如 Domino Data Lab 之类的 MLops 工具提供了支持这些不同工具的平台。「组织可以在多大程度上创建这些更集中的平台……很重要，」他说。

Wallaroo 首席执行官兼创始人 Vid Jain 在美林证券从事高频交易业务近十年，他说，他的职责是大规模部署机器学习，并以积极的投资回报率进行部署。

挑战实际上并不在于开发数据科学、清理数据或构建贸易存储库，现在称为数据湖。他说，到目前为止，最大的挑战是采用这些模型并将它们付诸实施并提供商业价值。

「事实证明，实现 ROI 非常困难——这些人工智能计划中有 90% 没有产生它们的 ROI，或者它们没有产生足够的 ROI 来让投资变得值得，」他说。「但这对每个人来说都是头等大事。答案不是一回事。」

他解释说，一个基本问题是，许多人认为实施机器学习与实施标准类型的应用程序没有太大区别，但他补充说，其实存在很大差异，因为人工智能不是静态的。

「这几乎就像照顾一个农场，因为数据是活的，数据是变化的，远谈不上到此为止，」他说。「这并不是说，你建立了一个推荐算法，人们的购买行为也就停滞在了这个时点。人们的购物行为是会变的，你的竞对会突然促销，人们会转向你的竞对，而不是一直在你这里买东西。你必须经常照顾你的算法模型。」

最终，每个组织都需要决定如何将他们的文化与围绕实施人工智能的最终目标保持一致。「然后你真的必须授权人们推动这种转变，让对你现有业务线至关重要的人觉得他们将从人工智能中获得一些价值，」他说。

他补充说，大多数公司仍处于这一过程的早期阶段。「我认为，大多数公司还没有做到这一点，但在过去的六到九个月里，我确实看到，人们已经开始认真对待业务成果和业务价值。」

但是对于许多企业来说，如何衡量人工智能的投资回报率的问题仍然难以捉摸。「对于一些企业来说，面临一些基本问题，比如他们甚至无法将他们的模型投入生产，或者他们可以但盲目地测试，或者他们成功但现在他们想要扩大规模，」Jain 说。「但就投资回报率而言，机器学习通常谈不上损益。」

他解释说，这是因为人工智能计划通常是卓越中心的一部分，而投资回报率由业务部门掌管，而在其他情况下，很难衡量。

「问题是，人工智能是业务的一部分吗？或者它是一个实用程序？如果你是数字原生代，人工智能可能是业务运行的燃料的一部分，」他说。「但在一个拥有传统业务或正在转型的大型组织中，如何衡量投资回报率是他们必须解决的一个基本问题。」

参考链接
https://venturebeat.com/2022/06/17/the-truth-about-ai-and-roi-can-artificial-intelligence-really-deliver/
https://www.digitaljournal.com/pr/more-than-76-of-executives-face-challenges-with-scaling-implementation-of-ai-applications-cognitivescale-survey-finds

本文来自微信公众号 “机器之能”（ID：almosthuman2017），36氪经授权发布。