日邮物流使用Alteryx，全面提升数据运营效率
用例概述
日邮物流（Yusen Logistics）是世界领先的合同物流和国际货运代理提供商，涵盖从独立运营到全球供应链等一系列的解决方案。日邮物流在欧洲、日本、东亚、大洋洲和美洲设有地区总部，在全球45个市场拥有超过24 000名员工，致力于为客户提供无缝连接的供应链解决方案。我们的目标只愿成为您首选的供应链物流公司。
我们是Eric Wong和Linda Lo，来自日邮香港全球总部流程管理部门的数据分析师。我们的角色和责任是为业务部门提供可靠和干净的数据，执行面向业务的分析，并通过我们的分析和工具提供业务洞察。我们每天都会使用Alteryx准备和处理数据。下面将为您介绍使用Alteryx完成的四个用例。第一个和第二个用例展示了我们如何使用Alteryx改进ETL流程和数据验证流程。第三个用例，您将了解到我们如何使用Alteryx评估我们的运营审核系统，最后，我们将向您展示如何从不同的文件类型中提取数据。
每天的使用让我们对Alteryx有了更进一步的了解，并真切地感受到了它的用户友好性。如果没有系统的IT技术背景，用户（尤其是初学者）将很难理解和学习数据分析。但是有了Alteryx，所有不同背景和岗位的用户都可以使用各种内置工具来执行数据转换，甚至进行预测建模！
用例1 改善ETL流程
业务挑战
我们公司正在使用BI工具做ETL，处理来自于我们主要的运营系统获得的数据。由于还需接入更多来自不同系统和部门的数据，我们希望提供一种用户友好的工具，让没有IT背景的业务用户也可以轻松地理解数据，从而使他们更好地参与公司的数据准备工作。
毫无疑问，我们需要专业的ETL工具来推动ETL流程。因此，我们提取必要的数据并执行ETL，为会计部门端到端创建Excel报表，作为POC来评估Alteryx的性能表现。
我们尝试解决公司的数据准备和数据融合的问题。它分为三部分。
首先，我们发现业务用户与IT开发人员之间的沟通是一个耗时的过程。IT开发人员负责数据准备，使用SQL从我们的运营系统中提取数据，然后在业务用户提出需求后使用脚本在BI工具中进行数据融合。业务用户和IT开发人员之间总是存在误解，这再正常不过了。所以，这个过程异常痛苦且漫长。
其次，我们想用Alteryx代替ETL流程，以连接到不同的BI工具以进行进一步的可视化。由于我们在不同国家/地区使用不同的BI工具，我们需要花费更多时间来对融合后的数据进行转换，以适合各自的BI工具。
公司所有的业务用户和IT开发人员每天都会遇到这些问题。因此，我们希望业务用户能够参与数据准备和数据融合，减少所需总时长。此外，我们还希望有一个可以导出为不同文件格式的工具，允许用户连接到不同的BI工具，以方便后续使用。
最后，我们需要处理大量数据，包括运营、财务、CRM数据等。但是，仅将数据存储在BI中，而没有放在数据仓库或数据湖中，使我们无法充分利用数据。受限于BI工具自身对诸如API、应用和机器学习的支持，我们并不能轻松连接所有数据。
解决方案
数据：数据来自我们的运营系统和各种Excel映射表。
产品：Alteryx Designer和Alteryx Server
平台/技术：融合后的数据存储在Azure中，允许其他用户直接连接数据结果，并为会计部门生成关键的Excel报告
部署：创建工作流，发布到Gallery中，并设置了每日调度。现在我们可以使用各种BI工具和Excel电子表格来可视化数据。
ETL流程概览
1. 数据提取
2. 匹配文件融合
3. 数据融合
4. 报表准备
获得收益
完成此POC后，我们总结了Alteryx几点明显的优势。首先，它消除了重复流程，让我们花费的时间更少 – 新的工作流包含了所有必要的步骤，可以与之前通过传统ETL获得相同的结果。尽管报表的呈现形式可能不如专业BI工具那样丰富，但它为我们给管理层提供关键报表节省了大量时间。
在此之前，当业务用户发现数据差异时，只有IT开发人员能够进行调查与修改。而现在，业务用户在以更有效的方式更多地了解公司数据的同时，也能够自己调查已构建的内容。
最后，我们发现，在POC完成并展示成效后，我们内部的用户满意度显著提高，包括来自管理层和其他部门的同事。他们所有人都认同，无脚本对于我们公司处理数据确实至关重要。
起初，我们从一个简单的工作流开始，将两个数据源通过ETL后合并。然后我们发现上手并不难。我们总可以使用少于10种工具来获取结果。
Alteryx使错误跟踪变得容易，这是平台的强大组件。用户还可以看到警告信息，这在其它工具中可能并不常见。此外，大多数工具都有输入和输出窗口，使用户可以轻松查看应用每种工具前后的差异。Alteryx的这一功能非常重要，用户无需重复运行相同的工作流即可找出差别。对我来说，使用Alteryx进行数据分析就像使用Excel一样容易。
用例2 优化数据验证流程
业务挑战
我们的管理层一直希望能客观评定公司的业绩表现。我们提取各种数据，创建各式各样的分析和报表，为他们提供准确和可信的报告反映公司的真实情况。
与此同时，运营的职责是将货运信息输入到运营系统中。但在此过程中，没有报告和测量等手段用以实时监测。由于运营与潜在后果没有关联起来，因此不会给他们带来太多直接影响。但如果他们输入的数据不准确，将会极大地影响我们后续的分析。
解决方案
我们使用Alteryx承担运营监控的角色，而不是直接获取数据，然后意识到有错误再加以改正。现在我们能够从数据库中提取运营数据，然后应用多个验证工作流来检查数据质量。如果有任何问题，我们可以导出一些错误消息，甚至直接修改数据。在这种情况下，用户可以立即意识到数据输入错误，并采取措施及时纠正。
上方的粉色框中是验证的部分。我们应用一些业务逻辑来校验数据。例如对于空运，我们必须在预计离港时间（ETD，Estimated Time of Departure）（最多30天内）当天或之前签发《航空主运单》（MAWB，Master AirWay Bill）。错误的ETD/ MAWB将导致分支机构或客户之间的错误结算。同时还会影响流量计算。我们检查两个日期之间的差距有多大。如果相差大于30天，我们将其视为“不匹配”。
要显示“不匹配”的消息，我们需要将XML文件导出到我们的eAdaptor，以便将信息传输到运营系统。因此，在上方工作流的蓝色部分，我们编写了一个循环，创建包含不正确货运信息的XML文件 – 消息将发送到运营系统。
之后，我们可以立刻为操作员创建注释。如果发生任何问题，他们可以立即采取措施，最大程度地减少因输入错误数据而导致的成本。
获得收益
我们在运营系统中需要介入大量的人工输入。在此过程中，人为错误自然会发生。我们始终强调数据质量的重要性。没有良好的数据质量做保证，我们在后期将需要大量的KPI、审核和各种调查，并且很难及时反映出实际情况。更重要的是，很难追溯操作员到底做错了什么。
通过这种新方法，操作员现在可以在编辑货运数据时接收到消息。追溯他们输入的错误或产生错误的原因将容易得多。如果发生任何问题，会立即进行信息传递。我们还可以直接修改运营数据以减少手动工作。
用例3 审查评分
业务挑战
目前，我们将报价信息输入到一个系统，但该系统与我们的运营系统并没有打通。对于用户而言，他们必须在报价系统中查询客户价格，然后将信息输入到我们的主系统中。我们必须来回手动检查两个系统。
由于海上运输的费用计算非常复杂，我们希望将一部分通用流程自动化，以提高查询流程的效率。我们开发了一个工作流，以根据报价系统审核运营系统中的费用清单。
解决方案
对于报价系统，它提供了REST API连接服务。因此，我们可以直接通过查询调用报价。为此，我们利用Alteryx处理查询并利用JSON解析工具下载JSON数据。之后，我们可以将输出解析至多个表并将其储存。我们还将其放入一个循环中以提取多个记录。
通过API获取数据后，我们现在可以将报价数据（蓝色部分）与运营系统的数据（红色部分）进行比较。在绿色部分，我们应用业务逻辑并做了相应的映射，使两个系统的主数据保持一致。
获得收益
在首次试用新方法后，我们用自动化取代了40％的人工检查。使用Alteryx，可以完成大部分费用清单的审查。因此清单样本将小得多，花费在人工审查上的工作时间也更少。效率得到极大提升！
用例4 使用Alteryx提取不同文件类型里的数据
业务挑战
在公司里，我们总会收到来自不同客户和托运人的预订。他们会提供各种文件类型（word、pdf、mht、html、jpg、png…）给我们，操作员们不得不手动将信息输入到我们的运营系统中。该流程手动化程度非常高且极其耗时。
因为我们属于流程管理团队，我们的目标是尽可能简化和减少手动工作。从接收客户的电子邮件到捕获基本信息并更新至我们的系统YUNAS，我们都想在Alteryx中尝试一下！
解决方案
首先，我们提取了与预订相关的电子邮件，并将它们放入一个中心文件夹以备将来使用。每天可以对此流程进行调度，减少手动工作，并降低忽略邮件的几率。
接下来，我们必须提取数据并将其输入到Alteryx中。与加载Excel或数据库不同，Alteryx无法直接读取这些文件。为了处理各类文件以实现我们的目标，我们运用了不同的方法来读取内部数据。
Word
使用“运行命令”工具运行批处理文件。它用于更改文本中的文档，以便可以在Alteryx中读取。
MHT / HTML
这类文件的读取相当简单直接。我们可以使用“动态输入”来执行。
由于Alteryx没有能直接提取PDF内信息的工具。我们使用Gallery中提供的一个工具，并使用R包来读取PDF。然后便可以直接在Alteryx中读取PDF文件了。
JPG / PNG
对于图像，与PDF相同，我们无法将其直接导入到Alteryx。要读取图像文件，我们必须使用光学字符识别（OCR）技术。我们使用R包读取图像。对于这一部分，您还可以使用商用OCR工具并将其导入至Alteryx，以进行数据转换或混合。
获得收益
这是对Alteryx读取不同的文件类型进行的一次很好的尝试。数据不仅限于Excel或数据库，还扩展到文档和图像。Alteryx有助于表现OCR功能，这是一种非常有趣的新体验。将数据输入Alteryx之后，我们可以为后续步骤执行数据混合。
接着，我们进一步使用Alteryx编写XML文件，然后将数据传输回我们的运营系统。尽管Alteryx并不是执行OCR的专属工具，但是它高度的灵活性让我们能够探索不同的新事物，并带来无限的可能性。
总而言之，我们为什么需要进行Alteryx POC的原因是我们希望能利用手中拥有的所有数据。数据是我们公司的重要资产。但是，它们是孤立的并存储在不同的系统中，很难将它们合并在一起，实现端到端每一步的可视化。像ERP系统一样，最终目标是将所有内容都连接到一个平台上，实现更优化的管理。营销数据、会计数据、CRM数据、运营数据、财务数据可以关联在一起，向我们展示清晰的画面，指导我们如何改善业务。Alteryx让我们拥有足够吸引人的功能，例如自动发送电子邮件和XML导出功能。最后，我们希望在将来减少手动工作，迁移到自动化的未来。
的确，Alteryx令人印象最深刻的词是“公民数据科学家”。我们很高兴看到Alteryx正在逐步实现这一目标。随着数据变得日益重要，我们不可避免地要接触多个数据源。学习如何同时处理如此大量的数据和应对各种数据源是未来成功的关键。过去，我们从过往的经验中识别模式来分析数据。但是，这与现代的需求相距甚远。在Alteryx的帮助下，我相信每个人都一定能并最终成为“公民数据科学家”。
