一、什么是数据建模?
数据建模是打通企业各类零散数据、把原始杂乱数据整理成统一、可用业务数据的全过程,核心是消除数据孤岛,让分散在数据库、Excel、业务系统、物联网设备的数据能统一分析。以BI可视化建模流程为例,完整链路分为5步:
- 数据接入:统一对接各类数据源平台支持50余种数据源,包含MySQL、SQLServer等传统数据库,达梦、人大金仓、GBase等国产信创数据库,Hive、ClickHouse大数据仓库,Excel/JSON文件,还有物联网实时流数据、第三方API接口,全场景覆盖企业所有数据资产。
- 数据抽取提供两种模式:缓存数据集/缓存模型(把数据本地缓存,大幅提升报表查询速度,适合海量历史数据)、直连模式(直接读取业务库,无需缓存,追求数据实时更新)。
- 数据加工在模型内自定义计算逻辑,自动生成同比、环比、占比、聚合等业务指标;支持跨数据源统一计算,不受不同数据库SQL语法限制,同时兼容Excel式计算逻辑,业务人员上手简单。
- 数据清洗治理可视化配置表关联关系、自定义数据表/字段,添加过滤器、查询参数过滤脏数据;可提前配置数据隔离规则,在建模阶段划分数据访问边界。
- 数据分享建模完成后按组织、角色分发数据,区分只读/读写/完全控制权限,支持单个或批量分享,兼顾数据协作与管控。
核心建模特色能力
1. 跨源融合建模:通过ETL整合多库数据,把底层物理表转化为统一业务模型;
2. 多模式适配场景:抽取模型、直连模型、流数据集三种模型,分别适配离线分析、实时业务、物联网瞬时监控;
3. 多租户架构:一套模型支撑集团多组织、SaaS多租户部署,自动隔离不同子公司、业务线数据;
4. 可视化拖拽操作:图形画布配置表关联,不用手写复杂SQL,业务人员可自主建模。