HENGSHI SENSE 4.1 发布，定义现代化的数据分析基础设施

衡石科技

+ 关注

2022-07-20 14:07

349次阅读

引言｜产品天花板比市场天花板更重要

正如主导芯片行业的基本规律是摩尔定律，撇开虚浮的热词，主导软件行业的基本规律也很简单，就是人月神话提到的软件工程概念。软件开发是高密度的智力密集型劳动，需要顶尖的工程师团队和科学的管理模式，这意味着这个商业模式的成本结构以产品研发的高成本投入为核心要素。

大量研发投入的前置导致了软件业的风险基数，但是比起研发失败来说，更大的风险是研发成功了，市场打开了，产品创新空间也见底了，即产品的进一步研发投入不再能够形成进一步的市场竞争力，行业快速进入内卷状态。

投资要看赛道，产品创业更是如此，对具体的一家公司来说，研发人力成本的投资才是最大的投资。可是选择产品创新的赛道是玄学，一方面需要对技术路线和发展趋势的深度把握，另一方面需要对市场客户阶段性需求和进化速度的精准拿捏。前者做到已经很难，后者则是难上加难。一个市场可以长出什么公司不是一个技术问题，是一个生态问题，因此每一个产品创新的公司都值得尊重，他们主动承担了巨大的不确定性风险，投入密集的智慧和劳动并甘愿充当基础概率的因子，因为这就是推动整个产业进步必须付出的代价。

HENGSHI SENSE 4.1 创新概览

Location, location, location

能够构建生态的平台型公司，不是由资本力量和技术力量决定的，而是由位置决定的，能够影响位置的主要因子是时间，因此和位置相关的战略只有两种，一种是先发制人，一种是列出不为清单，然后长期专注。

BI 和分析平台市场走到现在，客户的需求在全行业爆发，高价值的场景在越来越明确的涌现，市场整体正在不可逆的从早期创新市场走向大众受益市场。对于身处这个行业的技术公司来说，迎来的是在确定性方面大大增强的时间窗口，这对于前面提到的研发投入风险来说是大利好，也就是说在这个领域选择创业的系统性风险在大大降低。

由于数据的获取渠道更加广泛，数据的种类和格式增多，数据应用的场景也增多，有两类垂直厂商在快速崛起，构成数据生态中的重要部分。一类是基础平台厂商，他们专心解决某一类计算层面问题，比如实时分析，比如高并发数据服务，比如大规模的并行计算，比如可伸缩的云端计算平台；另一类则是数据分析的场景解决方案公司，比如财税分析、电商分析、广告投放分析、用户行为分析等，这些厂商的方案直接面向业务部门提供，面向具体部门 KPI 提供决策依据，效果明显且直接。

这两个层面是近年来围绕数据形成的生态中的两个大层，衡石的产品则在这两层中间充当了一个解耦的角色。围绕第一个层面开展工作的团队，必须要在一个计算场景下做到极致，围绕第二个层面开展工作的团队，则必须要对某一个垂直领域的know-how管理经验理解到极致，非常难两者兼备。衡石定位为数据分析基础设施，目标是对下屏蔽掉所有的数据平台多源异构复杂性，收敛为从业务视角的核心功能需求，以服务能力平台的 PaaS 形态提供给解决方案厂商一个干净的数据能力调用层。

分层是工程师面对复杂性的习惯动作，数据分析的 PaaS 层能力让高价值的数据分析业务场景无需从头研发，得以敏捷搭建并持续进化。毕竟，我们看到市场上优秀的分析解决方案公司，最大问题在于他们无法灵活拓展的随需应变。衡石对位解决了这个问题，让数据平台的技术创新不再成为搭建分析场景的桎梏，帮助每一个垂直领域的 ISV，包括 CRM、ERP、CDP、MA、CEM、MES、OA、HCM等各种垂直应用厂商，转型为自己领域的高价值数据分析解决方案提供商。

虚拟数仓

数据仓库建设原本是在物理层面要求数据汇集到一起，随着大数据时代的到来，计算被传输的成本已经大大低于数据被传输的成本，反倒是各种数据存算平台变成了最适合保存各种专题数据的介质。在这样的演进下，物理的数仓/数据湖都在退化，数据统一管理的要求更多是在虚拟层面发生，数据仓库/数据湖都在更多演化为逻辑概念。

在这样的架构下，分析逻辑或者业务计算逻辑，可以更轻量的被管理，和数据相关的任务明确划分开。建模能力迅速成为现代化企业数据架构中绕不开的环节，因为这里的能力孱弱，则意味着大量的分析工作需要预先定义后提前发生在具体的数据平台端；这里的能力强悍，意味着具体计算的拖延执行，系统会自动搞定计算的实时翻译执行，分析人员则专注于商业逻辑本身，随时调整和实验。现代化的分析架构是以 ELT 为基础的，原因就在这里，T才是和业务逻辑相关的，是计算密集型工作，E和L都是数据相关的，是I/O密集型工作，因此最佳实践是数据管道加分析指标管理的方式，近年来从全球技术创新看，云端的最佳分析架构无疑是 Fivetran + Snowflake + Looker/dbt的方式。

衡石在ELT的基础上进一步创新，通过建模语义层增强了业务计算逻辑的表达能力，形成了指标体系管理层的强大能力，更加面向业务人员，真正让业务用起来，这是和市场上其他所有 BI 工具厂商最大的差别。同时衡石针对国内数据服务生态的实际现状，直接提供了内置的湖仓一体化管理能力，适配整合各种现有数据平台来提供数据湖能力，这其实也是在国内云市场还没有成熟的Snowflake类似厂商出现的应对之策。

HENGSHI SENSE 4.1 亮点功能一览

HENGSHI SENSE 发布 4.1版本。在 BI 工具中台化的趋势下大幅提升了企业级管控能力，也在湖仓一体的架构下更加强化了关联分析前的准备工作。除此之外，仪表盘制作、应用设置、可视化提升、数据管理、数据集成、数据连接等方面增加了很多亮点功能。下面让我们一起来了解这些新功能：

数据管理
数据集成
数据连接
权限管理
仪表盘制作
应用设置
控件功能提升
系统设置

数据管理

数据继承

数据集市承载了组织内的公共基础数据，为不同的业务分析需求提供基础分析数据，因此数据集市中数据一般不会为某个具体的分析场景做定制，它的用途是比较通用的。

而业务分析往往是针对具体场景进行的，其数据、模型、参数、指标都是有针对性的，这就需要对基础数据进行加工处理。因此，此次更新中数据集市增加了继承功能，允许分析师在应用创作时继承数据，根据业务场景对数据模型进行扩展，使其符合业务分析报表的需求。

应用通过继承数据包，不仅可以将数据包中的数据集，数据模型原样使用，而且可以通过新增字段，新增指标，新增数据集，扩展关联模型等方式，利用现有数据做针对性的扩展，满足自助分析下灵活多变的需求。而数据管理员通过统一管理数据包的继承权限，可以保持中心化高度一致性的基础数据。数据继承的功能包括：

继承内容包括数据集、数据模型、参数、数据权限。
继承的数据集支持新建字段、指标、参数、数据模型。
数据继承在应用创作中申请，在数据集市中审批。

数据模型生效机制

数据模型新增生效机制设置，生效机制可设置为按需关联或始终关联，满足了更多建模场景，默认情况下为按需关联。 4.1 之前所有关联模型都使用按需关联，表示只使用模型表时关联关系不生效，只有使用到扩展表时关联关系才会生效。

4.1 增加了始终关联，表示关联关系始终生效，与是否使用扩展表无关。始终关联满足了模型表与扩展表强关联的数据分析场景。如果数据模型建立时某一个关系设置为始终关联，则数据建模路径上的关系都为始终关联。

参数支持多选

4.1 参数增设多选功能，开启后参数可以设置多个选项，增强了参数功能，使其满足更多复杂参数场景的需求。参数仅在允许值为列表时支持多选功能，其他场景不支持。参数一旦开启多选，所有使用参数的场景中都支持参数多选。

丰富数据集类型

4.1 版本新增数据集类型，支持用户对已有数据集进行行转列和列转行操作，并保存为新的数据集，用户直接使用转换结果进行分析，提升了图表分析效率。

数据集成

ELT 新型处理模式和批流一体的数据管道是目前数据分析场景中的重要趋势。HENGSHI SENSE 4.1 为多源异构数据增强了异步加工和实时同步的处理能力，满足不同业务场景需求，实现数据高效流通，提升数据应用效率。

流式同步

许多客户对数据分析具有时效性要求，批量同步最快可以做到小时或者分钟级别的数据更新时效，在很多情况下用户的需求需要更加快速的数据更新频率。4.1 新增流式同步功能，对来源数据进行实时监控，获取数据源动态信息，当监测到数据源变化时，将来源数据同步到目标数据仓库中，保障业务数据实时性，提升业务数据需求响应效率。

来源数据连接支持 MySQL、PostgreSQL 、MongoDB。
目标连接数据源支持 Greenplum、 PostgreSQL。
数据schema变动时，支持忽略变动继续同步，或者触发全量更新来跟随数据结构的变化。

转换节点输入

数据集成项目增加对转换节点输入个数判断，当输入个数超过上限时，连接不成功并提示用户节点的输入个数已达上限。

联合节点：支持2个输入。
合并节点：输入无限制。
其他转换节点：支持1个输入。

数据连接

HENGSHI SENSE 4.1 增强 SaaS API 数据源接入能力。新增内置数据源，扩展数据源种类。同时重新定义了数据源接入规范，只需按照规范编写 Groovy 脚本就可载入新的数据源，无需编译代码，整个过程简单易操作，提升了数据源接入效率。

支持 Amazon S3 数据源

数据连接通过 SaaS API 实现 Amazon S3 数据源接入，丰富了数据源类型。

插件式的 API 数据源接入规范

4.0 版本自定义 API 数据源时需要修改源码，重新编译，而代码内部结构复杂，依赖较多，全程需要衡石工程师协助，用户实现起来较为复杂。4.1 版本重新定义 API 数据源接入规范，用户仅需在 Groovy 脚本中按照规范编写函数，并通过环境变量 EXT_API_PATH 指定脚本位置，然后重启设备，脚本中定义的数据源会自动载入到系统中。

数据源接入规范比较简单，只需实现下面四个函数。

getAPIName ：用来获取 API 名称。
setOptions：用来处理认证鉴权相关配置信息。
fetchPathTables：用户获取数据源目录结构。
fetchTableData ：用于获取table节点数据。

权限管理

数据列权限

4.1 增加列权限，与行权限一起控制数据可见性，更好地保护数据安全性。列权限支持对不同用户设置列字段查看权限。当字段设置列权限后，设置的用户不可见这些字段，相应的字段信息显示为NULL。字段设置列权限不影响建模、作图等正常分析工作。当有多条列规则时，规则之间取并集。

数据连接权限下发

数据连接增加了权限管理功能，可对连接设置管理者，由管理者对其部门用户进行连接使用设置，实现了数据连接权限下发，连接使用上更灵活。连接管理者只能对连接进行权限控制，不能编辑和删除连接。

租户使用数据连接

数据连接增加授权给租户功能后，平台方可以将数据连接授权给租户，使租户基于数据连接进行进行自助分析，扩展了租户使用场景。平台方仅支持以只读访问的方式将数据连接授权给租户。

应用行权限控制

优化应用中数据行权限控制功能，在简单过滤基础上增加表达式过滤，可以对更多的场景进行控制。

数据服务

增加 API 按次数授权

新增 API 授权方式，在按时间授权方式基础上增加按次数授权方式，用户可以更加灵活的分配 API 资源以适配不同的需求场景。按次数授权用户支持自定义 API 调用次数，也可以配置为无限次调用。

增加 API 参数

API 新增 needTotalHits 参数用于记录请求数据的总行数。此外，还支持将数据来源中的参数作为 API 的请求参数，传递信息，这种场景仅适用聚合 API 和明细 API。

仪表盘制作

图层使仪表盘更精美

4.1之前仪表盘没有图层概念，多图重叠需要通过拼合的方式实现，拼合控件的尺寸需要严格计算，才能达到理想的效果，操作较繁琐。4.1 仪表盘增加了图层，多图重叠可通过图层一张张叠放来实现控件相互嵌套的合成效果，操作简单方便。图层功能使仪表盘在展示分析数据的同时展示样式更加美观、更加多样化，大大提升了用户体验。

图层支持调整排列关系、对齐方式、分布方式。
图层支持快速定位。

固定尺寸适配更多展示终端

自适应页面模式以网格数来适配不同尺寸展示器，满足大部分展示场景的同时，在一些固定尺寸的显示器上显示效果欠佳。4.1 增加固定尺寸页面模式，以像素为基础展示仪表盘，弥补了自适应页面的不足，适配更多的展示终端。

预设多种页面尺寸选项，方便用户选择，同时支持用户自定义。
提供了画布缩放、显示全部辅助功能，方便用户查看。
支持设置页面在嵌入场景下的展示模式包括不缩放、全部内容、充满屏幕。
支持与自适应页面模式相互切换。

形象直观的主题卡片

4.1 之前主题卡片仅用三个主色及主题背景来展示，比较抽象，不能准确表达出使用主题后仪表盘的展现样式。4.1 对此进行了优化，主题卡片上呈现了主要图表在该主题下的缩略图，形象直观，用户通过主题卡能预知仪表盘展现样式，可快速选出符合预期的主题。

增设全部主题、预设、我的、其他四个页签，对主题进行分类管理。
增加权限管理，仅创建者或管理员可以修改、删除、重命名主题，其他用户只有使用权限。
支持租户自定义主题，仅租户内部可见，平台方和其他租户不可见。

仪表盘实现控件多选

4.1 之前仪表盘调整布局时每次只能选中一个控件进行操作，效率较低。4.1 新增控件多选功能，实现多控件统一调整，如多控件整体移动、排列、对齐等，大大提升了仪表盘制作效率。

应用设置

应用展示设备

4.1 之前应用无法区分展示设备，应用的编辑界面都会包含PC端和移动端。使用单一展示设备的用户要面对两个页面，操作上带来了很多不变。4.1 应用支持设置展示设备，并按照配置呈现相应设备的编辑页面，更符合用户使用场景及操作习惯。

应用编辑过程中可随时修改配置。
应用卡片上呈现相应的设备。
查询应用仅支持在PC端展示。

应用指标预警

4.1 新增应用指标预警功能，用于监控应用中图表的指标，当指标达到阈值条件时通知用户，让用户及时感知业务指标变化情况，调整业务策略。指标预警支持设置多条预警，每条预警可自定义检测时间及预警频率。预警可通过邮件和Webhook两种方式通知用户。目前该功能暂时不对应用集市和租户场景开放。

增加应用全屏轮播设置

4.1 对应用全屏轮播功能进行优化。在应用设置中增加全屏轮播设置规则，使应用进入全屏后自动根据设置规则轮播，解决了轮播设置仅当次生效，退出全屏后再次进入需要重新设置的问题。

应用自定义图表数据缓存周期

4.1 之前整个系统所有应用统一设置图表数据缓存周期，但是由于不同应用数据更新需求也不一样，导致有些应用数据更新慢，有些应用更新快，无法兼顾。4.1 新增应用图表数据缓存配置，每个应用可以根据业务场景单独设置，不受系统设置的影响，更加灵活方便。应用未配置时仍按照系统配置进行更新。

应用多版本管理

某些应用发布后，依旧会不停的更新内容发布新的版本，所以一个应用可能会发布很多版本。新版本覆盖了旧版本内容，用户无法查看历史上某个发布版本的内容。4.1 新增应用版本管理功能，应用发布时保存了版本数据及相关分析内容。当需要回归到某个历史版本时，可以在应用管理中找到该版本，一键还原，快速方便。应用版本管理功能暂时不对租户场景开放。

版本管理保留了仪表盘、数据集、数据模型、参数、翻页器等与数据分析相关内容，与权限设置相关内容不保存。
为了避免占用大量内存空间，目前仅支持保留应用最近发布的3个版本相关信息。

发布态应用快速编辑

应用集市中的应用需要更新或修改内容时，需要返回到应用创作中找到原始应用进行修改，用户操作路径比较长。 4.1 在发布态应用中增加去编辑按钮，通过该按钮可快速跳转到编辑态的应用，操作方便，节省用户时间。

该功能受创作区应用权限控制，无权限的用户跳转时提示权限不足。
平台方授权给租户方的应用无该选项。
仅拥有数据查看角色的用户，其应用集市中的应用无该选项。

控件功能提升

丰富 KPI 展示样式

4.1 之前 KPI 的主副指标仅支持上下展示，多指标 KPI 无法达到理想展示效果，往往需要创建多个 KPI 图表并借助容器来实现理想的布局。4.1 对 KPI 进行了优化。整体布局上支持主副指标上下、左右排列展示，局部展示上支持在主、副指标内调整展示样式，丰富了 KPI 展示样式，大大提升了多指标 KPI 制作效率。

表格增加条件格式场景

表格的条件格式是对符合条件的单元格的背景和文字进行颜色设置，将重要信息突出展示。 4.1 对条件格式进行增强，增加了最大/最小、逻辑规则，使其能够支持更多的场景，扩大了条件格式使用范围。

最大/最小规则：按依据字段的最大、最小值进行条件设定。
规则：是对依据字段进行>、 ≥ 、 < 、 ≤ 、 = 、!= 、包含、不包含、介于、不介于、空值、NULL等逻辑判断进行条件设定。
多条规则时按照由上到下的顺序依次执行。

表格导出数据样式

表格在进行数据分析展示时，一般会使用条件格式等功能设置单元格展示样式，突出重点信息，用户希望导出数据时能保留这些样式。4.1 增加了保留单元格样式功能，同时支持明文导出脱敏数据，数据导出实现了所见即所得。

优化表格锁定功能

表格优化维度列锁定功能，之前该功能只能锁定全部维度列，不够灵活，特别是在移动端打开时，当维度列过多，锁定所有维度可能会导致左右滚动无法查看表格右侧度量信息。 4.1 进行了优化，用户可根据需要锁定维度列中的前N个，使用场景更加灵活。

按钮支持导出图表

按钮控件导出事件支持导出应用和仪表盘的相关内容。4.1 版本在此基础上增加了导出图表。通过按钮可以导出图表的数据、PNG 和 PDF 。

度量维度增加排序方式

原有度量维度排序方式比较单一，而且针对不同字段类型排序方式不同。4.1 对度量字段对比维度排序进行统一设置，并增加了指定排序、图内度量排序等排列方式，丰富了图表数据排序样式。该功能仅适用有度量维度的表格和组合图表。

自定义图表排序级别

表格排序时主维度先进行排序，次维度在主维度的基础上进行排序，所以表格排序与维度顺序有关。当用户想改变表格排序又不想改变维度顺序时，可以通过开启自定义排序级别来实现。自定义排序级按照自定义的维度顺序进行表格排序，不影响表格原有维度展示。该功能适用表格、组合图表、桑基图。

合并项目排序优化

合并项目创建后默认参与图表排序功能，但是某些场景下合并项目参与排序会对其他项目分析有影响。4.1 中增加了配置项，用户根据业务场景配置合并项目是否参与排序，使用更加灵活。

增加图表只读态排序设置

图表在发布、预览、嵌入等只读状态下保留了排序功能，允许查看者根据自己的需求对图表重新排序，展示不同维度的排序信息。某些场景下，应用创作者想展示固定排序内容，不希望查看者改变图表排序方式。这种情况下，4.1 对该功能进行了优化，增加了只读态排序配置项。应用创作者可以设置查看者是否可以对图表重新排序。此外，该配置项还支持对只读态下的数据集表格、表格、交叉表设置可以切换顺序的字段。