HENGSHI SENSE 4.3 发布,BI PaaS 再升级
引言|智能源于数据,AI 助推 BI
人工智能的拐点或许已经来到,这不是因为 GPT 技术线的成熟,而是因为由其带来的共识。
业界共识才是工程创新真正的推动条件,当有技术路线的阶段性成果成为共识,资源的投入就会迅速趋于集中,后面获得突破的基础概率就会暴增。这就好像有人确定性告诉你一道题是可解的,你的破解策略马上就不同了,因为你本来要花费大量的精力去验证可行性,毕竟大多数情况下题本身就是错的,这才是 ChatGPT 真正的意义,即给到业界一个相对确定性的方向,相比于其他更不明朗的方向而言。
但是当我们把眼光聚焦当下,就还是得现实一些,任何智能的训练模型都诞生于优质的数据集,我们离智能化的阶段,依然得务实的走过业务数字化和过程数据化的阶段,我们很多行业的客户,第一步都还没有迈出呢,因此企业软件和服务市场的主流节奏并没有改变,依然是传统行业的数字化转型。
有观点认为,ChatGPT 会让 BI 消失,这是因为把 BI 错误的理解为一个技术项。我们有时会认为从 BI 到 AI 是一个跨越和进步,但实际上,BI(Business Intelligence)才是愿景和目的,我们追求的并不是技术成果,而是商业成果,商业智能意味为更精准、更有预测性、更有扩展性的现代化企业运营状态,因此 AI 才是通向 BI 的路径。随着 AI 技术在接下来几年内的普及和形成共识,基于 AI 技术支撑的商业智能,才将真正成为现实,这才是商业智能的春天。
创新概述
指标中台能力|给业务人员的分析视角
衡石在过去三年的商业化进程中,陆续服务了过百家 SaaS 和 ISV 的伙伴,我们非常欣喜地看到大家都开启了一个新阶段:零代码的灵活满足客户在数据报表和分析指标上的个性化需求。这极大的提升了客户的满意度,同时保护了在产研和服务成本上的过量投入,做到了降本增效。
下一个阶段,则是将数据分析的能力如何低门槛的暴露给 SaaS 伙伴的客户,这需要进一步降低分析的门槛。我们设计指标管理的能力,是因为从业务的视角更加友好,去掉数据和 BI 分析的相关技术概念,只需要关注业务层面的语言,让分析的起点从数据变成业务指标体系。
在基于指标的能力加持下,分析工作更加分明的形成两个部分,一部分是基于数据敏捷构建业务指标库,另一部分则是基于业务指标库灵活构建看板。后面这部分,不管是开放给业务侧自助分析,还是开放给客户侧自助分析,以及后面我们演变为更加智能化的生成式看板,都做好了往前一步的基础准备。
数据虚拟化|更符合 ELT 架构要求的简化演变
HENGSHI SENSE 的使用路径里没有明确的数仓痕迹,但在各种功能下面用到了数仓的全套能力,也就是说我们刻意不暴露一个数据仓库的概念,客户对此几乎没有感知。HENGSHI SENSE 将优秀的数仓平台产品视作一种必须的能力,自然的在功能里按需引用,这是衡石理解的数据虚拟化。我们支持适配主流的各种最先进的数据计算平台,尽量发挥每一种平台的独特优势,并努力不将这种管理压力和复杂度上传到业务使用方。
这样的演变基于一个客观原因,ELT 架构的要求下分析工作更多的后置到了指标管理层(更偏业务导向),而不再是数仓传统的 ETL 阶段(更偏 IT 导向)。前面的数仓更多是专注发挥两大核心作用,汇集多源异构数据和承载即时分析的运算下推压力。这对于上层客户视角而言,压力减轻很多,理解起来也容易了很多。
数据虚拟化是为了理解上的简洁,当客户想要建立一个企业级的数据分析和 BI 看板流程(甚至是构建一个数据中台),基于衡石平台需要做的工作仅仅是:梳理必要的业务数据来源进行连接,定义好数据和数据之间的关联关系,定义和维护要关注的业务指标,创建看板发布出去。这样是不是清爽了很多?
亮点功能一览
HENGSHI SENSE 4.3 发布了。该版本在指标中台、数据填报、数据连接、可视化分析、嵌入分享、租户管理、任务管理等方面增加了很多亮点功能。下面让我们一起来了解这些新功能:
指标中台
数据填报
数据连接
数据管理
可视化分析
嵌入分享
租户管理
应用管理
系统管理
指标中台
HENGSHI SENSE 指标中台服务基于指标能力快速构建业务指标体系,对业务指标进行中心化管理, 并通过预置指标分析模板和业务场景结合快速形成业务指标分析看板。指标中台大幅降低了数据分析成本和使用门槛。
业务指标中心化管理
真正面对业务变化的部分在于指标的计算逻辑的灵活定义,能够把这部分通过公式的形态做好集中管理,加强指标的表达能力,就可以在不进行大量预计算的前提下实现业务指标体系的建设。
HENGSHI SENSE 4.3 搭建了业务指标体系,对指标进行统一的创建、管理。指标使用公式进行定义,可增设维度信息构建不同的业务分析场景,对多指标建立关联提升分析效率。
业务指标创建包括指标定义和指标配置。使用公式进行指标定义,可包含字段、参数、用户属性。配置时可设置以下选项:
- 设置指标限定条件,生成特定条件下的业务指标。
- 定义分析维度,形成特定业务场景下的指标,根据维度进行业务分析。
- 在路径归因中设置关联指标,分析业务时对关联指标一同进行分析。
基于指标的自助分析
用户可以将反应业务变化的指标数据,通过可视化展示,来查看业务的变化,了解业务发展趋势。HENGSHI SENSE 同步推出了自助分析模块,为业务指标定制了可视化分析看板。内置多种业务指标模板,用户拖拽业务指标到画布区立即生成图表,通过点选操作完成图表类型切换,整个过程无需对指标数据进行再加工处理,操作简单易上手。业务指标自助分析能力,对分析人员没有数据建模能力的要求,降低了 BI 使用门槛,使更多用户参与到数据分析中来。
自助分析看板操作简单,拖拽指标即可生成图表,同一指标通过点选操作可对不同业务场景分析。
- 支持多种图表类型,可自由切换。
- 支持选择指标以及其分析维度,系统将自动推荐维度最佳的图表形式,展现该维度对指标的影响。
- 通过路径归因分析将所有关联指标一键生成关联图表,揭示指标之间的影响。
- 支持多指标对比分析,同一图表中可拖入多个指标进行分析。
数据填报
HENGSHI SENSE 4.3 增加数据填报模块,提供数据录入功能,收集并存储数据到衡石数仓,结合平台其他模块一站式完成数据收集、数据建模、数据分析、可视化呈现等分析工作。
数据填报适用场景广泛,如问卷调查、在线报名、目标设定、状态统计、扫码签到等,其结构化数据入库能力,可以收集业务场景中所有数据。
数据填报模块拥有丰富的组件库,提供了数字、文本、日期、单选、邮箱、手机、电话等常用的组件,零代码搭建表单,降低使用门槛。录入的数据以字段形式存储,方便查看。
表单填报过程灵活可控。填报开启后可随时暂停填报,停止信息录入;填报时可以实名收集信息,也支持匿名填报;可同时在 PC 、移动多端进行填报;支持使用链接、二维码等多种形式进行表单分享。
数据连接
建表属性实现数据分布设置
4.3 增加了建表属性功能,在数据表创建过程中自定义分区字段和索引字段,对数据进行分散存储,实现冷热数据分区、数据均匀分布等功能。同时在数据读取过程中可根据分区字段、索引字段快速查询使用数据,提升数据查询性能。
建表属性适用数据集成输出节点、批量同步输出表、更新开启加速引擎的数据集等场景。目前支持数据源有 Greenplum、Doris、ClickHouse、StarRocks 。
增加内置引擎类型
HENGSHI SENSE 提供内置加速引擎功能,用户可以将数据导入引擎,提升数据处理速度。4.3 扩充加速引擎类型,在 Greenplum 基础上增加了 Apache Doris。Doris 比 Greenplum 的数据查询性能快,Greenplum 更加稳定,用户根据数据处理的要求选择合适的加速引擎。
扩展数据源种类
HENGSHI SENSE 不断扩充数据源类型,4.3 迎来了人大金仓 KES、聚水潭和易仓 ERP,丰富了数据源种类。
流式同步扩展来源数据
流式同步来源数据连接在 MySQL 和 PostgreSQL 的基础上,新增加对 Oracle 和 SQL Server 数据源的实时监听、流式同步处理。
数据管理
数据模型添加过滤功能
数据模型建立关联关系后,可以对模型设置过滤条件,获取更精准的模型数据。过滤功能支持简单条件过滤和表达式过滤。
数据集行列权限优化
数据集行列权限设置时对用户信息进行严格检查,没有填写用户或用户信息不正确,会给出提示信息,直到修改正确才能保存,避免设置无效规则。
可视化分析
动态树支持动态层级信息
树形过滤器用于展示固定层级关系的字段信息,如“国家-省份-城市”、“年-月-日”并进行过滤功能, 但是当层级关系动态变化时,如部门架构调整,三级部门变成四级部门,普通树形过滤器无法识别这种变化,需要重建过滤器。基于此,4.3 推出了动态树过滤器, 拖入本级字段和上级字段,建立动态父子层级关系。当数据结构的层级发生变化时,动态树会自动跟随结构层级变化,不用重新编辑。
日期过滤器优化
当日期过滤器使用范围展示时,对日期开始和结束选项进行优化,两个选项分开设置,满足更多过滤场景。
- 仅设置开始日期,过滤出日期大于开始日期的数据。
- 仅设置结束日期,过滤出日期小于结束日期的数据。
- 同时设置开始、结束日期,过滤日期在开始和结束日期之间的数据。
- 开始日期、结束日期留空,不进行数据过滤。
画布表格提升展示性能
4.3 增加画布表格控件,与表格控件功能类似。画布表格以整个图表作为一个节点进行渲染,渲染速度快,性能好,用户侧重展示性能时可使用画布表格。但画布表格在样式展示上相比表格缺少行列转置、折叠展示、维度卷起、表头过滤、图片插入等功能,用户侧重展示样式时应选择表格控件。
表格维度上卷设置
表格维度列展示时,某些场景下仅需要展示维度列的最高层级,其他维度列需要的时候进行展开。表格增加维度列上卷层级设置功能满足用户使用场景。设置维度卷起层数,这些维度默认情况下不展示,需要时可通过下钻按钮逐层展示。
小计支持独立计算
4.3 优化小计计算方式,支持小计独立进行计算。小计是对度量信息按照某一维度或某几个维度进行统计,小计的计算方式不一定和度量保持一致。如订单信息的计算方式是求和,添加小计想识别出销售订单中最低的订单金额。在小计计算方式中选择最小值即可筛选出最低订单金额。
嵌入分享
JS SDK 嵌入
HENGSHI SENSE 支持使用 iframe 对平台进行分层级嵌入,包括平台整体嵌入、单模块嵌入、单应用嵌入、单图表嵌入等。使用 iframe 嵌入时,浏览器会进行二次渲染,对性能有一定影响,当一个页面嵌入多个图表时,页面加载速度变慢,影响展示效果。
为了更好地解决仪表盘和图表的嵌入性能问题,HENGSHI SENSE 推出 JS SDK 嵌入,直接在嵌入页面内进行绘制。每个嵌入页面只加载一次静态资源,当在同一页面嵌入多个仪表盘或者图表时,大大提升了渲染速度。JS SDK 嵌入时支持动态调整嵌入页面的样式和交互,使嵌入方式更加灵活。
租户管理
优化租户方数据连接分类展示
4.3 对租户方的数据连接分类展示进行优化,将平台授权的连接独立出来,与企业连接并行展示,用户能够清晰的区分内部、外部数据,方便查找和使用数据。
租户方支持使用平台方图表库
4.3 将平台的图表库功能开放给租户使用。租户在数据分析过程中可以直接引用平台方图表库中的图表,节省数据设计工作,提升了分析效率。
应用管理
应用暂停服务
当系统进行升级维护或故障处理,例如底层数据进行迁移时,部分已发布的应用会受到影响从而报错,此时我们是不希望用户访问到相关的仪表盘的。针对这种情况 4.3 版本增加了应用暂停服务的功能。当系统进行维护时,对应用进行暂停服务,已发布的应用打开时会展示维护中等提示信息,让用户了解应用的状态。当系统问题处理完可对应用恢复服务,用户可以正常访问应用。
深度搜索功能
我的创作界面中的搜索功能仅搜索当前路径下的内容,不能深入到文件夹内部进行搜索,无法满足用户文件夹层级搜索需求。4.3 增加了深度搜索功能,该功能不仅可以在文件夹层级内逐层进行搜索,查找对应的内容,还可以进入应用内部,对仪表盘和数据集进行搜索匹配,实现多层级穿透搜索,快速定位到查找内容。数据集市、应用创作、应用集市都支持深度搜索。
此外,在应用内仪表盘页面也增加了搜索功能,在应用内仪表盘较多时,可以使用搜索功能查找仪表盘。
系统管理
优化任务管理方式
4.3 之前任务调度仅支持定时调度,缺少任务之间依赖关系的设置,当任务越来越多、任务之间关系越来越复杂,会出现以下情况:
- 任务依赖关系管理困难,数据在前置依赖未完成情况下触发更新了。
- 触发时机相互冲突时,任务出现漏调度或重复调度。
- 当有错误数据更新时,数据重新更新成本较高。
HENGSHI SENSE 4.3 对任务调度进行以下优化,解决多任务调度问题。
- 增加前置任务依赖设置,可设置多个前置任务,设置任务的等待时间。
- 增加任务优先级设置,有效解决触发冲突场景,支持动态调整优先级。
任务管理增加了 DAG 图表,支持一键重跑。DAG 图表展示了任务当前状态、任务之间依赖关系图和任务链中上下游任务运行情况。一键重跑快速启动当前任务和下游任务。
结语
HENGSHI SENSE 4.3 探索了数据分析新领域,增加了指标中台、数据填报两大模块,突破了嵌入场景的性能问题,解决了任务调度的依赖管理关系,优化了应用管理策略,还有更多贴心的用户体验提升,欢迎来试用!
HENGSHI SENSE 4.4 正在萌发生长,继续夯实数据分析底层计算能力,构建数据分析上层业务场景。更多精彩功能,敬请期待!