产品
一站式数据治理平台
DDM 数据模型管控平台
模型设计与管理一体化工具,实现从源头治理数据
DAM 数据资产管理平台
自动盘点企业数据资产,发现数据质量问题。
DDC 数据资产目录平台
指导资产目录搭建,为企业构建数据资产门户
DDS 数据安全管理平台
通过AI算法、自动识别等手段进行数据资产的分类分级
数据治理工具 Tools
DDM Archy 数据架构工具
架构资产管理工具,依托于DDM的基础建模能力,对架构资产,进行专项设计和管理
Datablau SQLink 血缘解析工具
高度自动化,简单易用的分析SQL语句并发现其中的数据血缘关系的可视化分析软件
Datablau D3 数据开发管理工具
数据治理贯彻自始至终,让数据开发更规范,更可控,更敏捷、质量更高。
Demo 演示
在线血缘解析
产品免费试用
服务
实施与咨询服务
数据治理轻咨询服务,在数据治理现有成果的基础上,围绕数据治理的落地实施,为企业数据治理的常态化运营提供能力支撑。
企业内训
根据大中型企业数据治理的实际情况和行业特性,制定的个性化和定制化的培训课程,帮助企业解决实际问题。
解决方案
通用解决方案
数据安全与合规解决方案
数据资产管理与服务解决方案
数据中台综合解决方案
数据模型管理解决方案
数据治理综合解决方案
行业解决方案
银行业
保险行业
基金行业
制造行业
汽车行业
标杆案例
生态合作
项目交付生态合作
以Datablau产品/解决方案为核心,为客户提供项目实施交付及技术服务支持的合作伙伴
渠道销售合作
经授权向客户出售Datablau的产品/解决方案/服务的销售代理商
校企合作
产教融合,联合培育高阶数据人才的高校合作伙伴
资料中心
关于我们
了解Datablau
企业简介
招贤纳士
联系我们
Datablau动态
新闻动态
干货文章
400-6033-738
免费试用
以技术驱动 打造世界级数据治理产品
免费试用
Datablau荣获2023年DAMA数据治理优秀产品奖
免费试用
银行业数据治理解决方案,全面赋能数智化建设
免费试用
Datablau 一站式数据治理平台
DDM
数据模型管控平台
标准落标
模型管控
模型设计
协作共享
免费试用
查看详情
DAM
数据资产管理平台
元数据管控
基础标准管理
指标标准管理
数据血缘与图谱
免费试用
查看详情
DDC
数据资产目录平台
数据资产目录
数据资产门户
数据资产搜索引擎
数据服务
免费试用
查看详情
DDS
数据安全管理平台
智能数据分类分级
访问权限设置
数据安全网关
数据静态脱敏
免费试用
查看详情
以业务驱动,构建智能数据资产生态管理
免费试用
适配行业和业务的数据治理解决方案
通用解决方案
数据安全与合规解决方案
查看详情
数据资产管理与服务解决方案
查看详情
数据中台综合解决方案
查看详情
数据模型管理解决方案
查看详情
数据治理综合解决方案
查看详情
行业解决方案
银行
保险
基金
制造
汽车
打造智能化数据治理服务,重塑银行数智化竞争新优势
银保监对金融机构数据治理工作尤为重视,发文《银行业金融机构数据治理指引》,要求银行业金融机构将数据治理纳入公司治理范畴,并将数据治理情况与公司治理评价和监管评级挂钩。
获取方案
全面推进保险业数字化转型,推动金融高质量发展
有效促进行业提升信息化程度、风险管控能力、行业治理水平和服务实体经济能力,从而提升保险行业整体竞争力。
获取方案
基金行业数据治理探索与实践
深入贯彻落实党的二十大精神,引导基金行业机构践行《证券期货业科技发展“十四五”规划》,共促基金行业数字化转型
获取方案
智慧制造 — 制造行业一站式数据治理平台
制造企业积累的数据资产越来越多,急需一套数据治理解决方案来帮助企业降低工业化生产成本,实现企业信息一体化管理。
获取方案
汽车行业数据治理解决方案
只有对数据进行有效的、高质量的治理,才能尽早发现数据的问题、提高数据质量、发挥数据价值、提升经营管理能力,在汽车数字化竞争中赢得先机。
获取方案
200+
TOP企业的共同选择
生态合作伙伴
诚邀有渠道优势、项目交付优势的合作伙伴,整合资源,合作共赢,共同打造数字化应用生态体系
成为生态合作伙伴
项目交付
查看详情
渠道代理
查看详情
校企合作
查看详情
让数据治理真正改变企业数据应用能力
免费试用
Datablau 动态
公司动态
干货文章
春日奋进,Datablau中标喜讯纷至沓来~
实干创佳绩,奋斗铸辉煌。近期,Datablau数语科技再传喜讯,凭借丰富的项目经验,雄厚的产品实力和良好的市场口碑,顺利中标北银理财、比亚迪、五矿证券、金光纸业、光大理财等多个数据治理项目。在数字化时代下,数据治理作为确保数据质量、保障数据安全、提升数据价值的关键环节,其重要性日益凸显。Datablau数语科技作为一家产品创新型公司,始终致力于以数据驱动运营,以Datablau新一代数据治理平台为依托,凭借在数据治理领域多年沉淀的技术能力和服务能力,为签约客户提供高效、稳定、安全的平台支撑,持续为企业数字化转型赋能。至今,Datablau已经服务了金融、制造、能源、物流、零售等领域的200多家大中型企业,标杆客户包括建设银行、华为、中国人寿、国家电网等,产品和服务深受客户一致好评。未来,Datablau将继续帮助更多企业落地数据治理最佳实践,助推动数字化转型之路。
Datablau证券数据资产智能识别知识库获北京国际大数据交易所登记
近日,Datablau的行业知识图谱成功获得了北京国际大数据交易所颁发的数据资产登记凭证,这一里程碑式的成就标志着数语的数据资产已经得到了大数据交易所的充分价值认可。 这一重要资质认证的取得,不仅标志着Datablau证券行业数据资产智能识别知识库的管理体系和数据质量得到了权威机构的认可,也意味着其在数据资产管理和保护方面所付出的努力和取得的成果。这意味着Datablau的知识库在数据质量和合规性方面得到了认可,并被视为合法可用的数据资产。 随着数据资产在证券行业中的地位日益重要,Datablau证券行业数据资产智能识别知识库利用先进的人工智能和机器学习技术,对证券行业数据进行全面而精准的识别和处理。通过这一登记凭证,Datablau的知识库进一步增强了其数据质量和可信度,为用户提供了更高质量的证券行业数据服务。为了积极响应财政部发布的《企业数据资源相关会计处理暂行规定》,Datablau正在考虑将这一宝贵的数据资产以及更多沉淀的数据资产纳入财务报表,以展示其无可估量的价值。 Datablau数据治理平台,凭借其智能数据资产盘点与智能数据安全分类分级功能,深受企业青睐。而这两大功能背后的秘诀,正是Datablau梳理的行业知识图谱。这一图谱的构建,倾注了数语科技资深咨询顾问们数月的辛勤努力,他们以深厚的行业业务理解为基础,精心打造而成。这份宝贵的行业知识图谱,不仅赋予了Datablau数据治理平台强大的智能分析能力,更为企业提供了一个数据安全与效率并重的有力保障。
再添佳绩|Datablau再迎一波签约捷报!
营销奋进正当时。近期,Datablau市场开拓捷报频传,再迎新一波签约捷报!顺利签约中国航信、浙江中控、国信证券、华安基金、上海新能源汽车公共数据采集与监测研究中心等多个大型数据治理项目,满弓紧弦冲刺年末“收官之战”。Datablau将依托在数据治理领域多年积淀的技术能力和服务能力,为签约客户提供高效、稳定、安全的平台支撑,持续为企业数字化转型赋能。多年来,Datablau在技术和产品上不断迭代与突破,从深耕对数据极为敏感的金融行业并沉淀了建设银行、中金、泰康等多家重点标杆金融客户,到目前将服务行业扩展至制造、能源、零售、物流、地产等10+行业,Datablau始终立足市场需求,未来将继续以更优质的产品和解决方案为更多行业的客户提供全方位的数据治理技术和服务支持。
24张架构图讲透数据治理核心内容
一、数据治理的框架和核心内容不同的利益相关者群体对数据治理的关注点不一样,因此各自的视图也不一样。其中管理者视图可以概括为“五域模型”,分别是“管控域”、“过程域”、“治理域”、“技术域”、“价值域”。图1、管理者视角-数据治理五域模型管控域:在数据治理战略指导下制订企业数据治理组织,明确组织的责、权、利,岗位编制及技能要求。治理域:是数据治理的主体,明确数据治理的对象和目标。技术域:数据治理的支撑手段,指的工具平台。过程域:是数据治理的方法论。价值域:通过对数据资产的管控挖掘数据资产的价值,并通过数据的流动、共享、交易变现数据资产。图2、技术视角:企业大数据治理实践指南框架数据治理体系,包括数据战略、数据治理管控体系(数据治理组织、制度、流程、管控机制、绩效体系及标准体系)、数据架构、主数据、元数据、指标数据、时序数据、数据质量、数据安全、数据集成与交换、数据开放和共享、数据资产管理能力成熟度评估以及数据价值、数据共享、数据变现等多方面。图3、数据治理车轮图接下来从数据战略、数据管控(组织管理、制度体系、流程管理及绩效)、三个核心体系(数据标准体系、数据质量体系、数据安全体系)和工具等分别进行介绍。图4、企业数据管控和三个核心体系1、数据战略数据战略是整个数据治理体系的首要任务,关注整个组织数据战略的规划,愿景和落地实施,为组织数据管理、应用工作的开展提供战略保障,应由数据治理组织中的决策层制定,需要指明数据治理的方向,包括数据治理的方针、政策等。图5、数据治理顶层规划设计方法论正确的顶层设计是企业家对未来形势的正确判断,对机会和战略,治理与架构,资本和模式,供应链和数字化,品牌和营销,产品和客户等整体一盘棋的布局。如果说商战就是没有硝烟的战争,那么顶层设计则是整体战的部署。2、组织管理组织保障是数据治理成功的关键。组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。数据治理是一项需要企业通力协作的工作,而有效的组织架构是企业数据治理能够成功的有力保障。为达到数据战略目标,非常有必要建立体系化的组织架构,明确职责分工。图6、某集团数据治理组织架构设置范例图7、某央企数据治理组织架构设置范例3、制度体系保障组织架构正常运转和数据治理各项工作的有序实施,需要建立一套涵盖不同管理粒度、不同适用对象,异覆盖数据治理过程的管理制度体系,从“法理”层面保障数据治理工作有据、可行、可控。图8、数据治理制度框架企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定,往往包含数据质量管理、数据标准管理、数据安全管理等制度,以及元数据管理、主数据管理、数据指标管理等办法及若干指导手册。图9、数据治理制度框架体系图10、数据资产管理规定目录4、流程管理制定数据治理的流程框架也是数据治理的重要工作。数据治理流程包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤,以及元数据管理、主数据管理、数据指标管理等流程。图11、数据治理流程框架体系5、绩效管理数据治理考核是保障数据治理制度落实的根本,通过系统的方法、原理来评定和测量企业员工在一段时间内数据治理相关的工作行为和工作效果,进一步激发员工的积极性和创造性,提供员工的数据治理责任心和基本素质。图12、数据治理绩效体系6、标准体系数据标准是实现数据标准化、规范化的前提,是保证数据质量的必要条件。数据标准一般分为元数据标准、主数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。图13、数据标准化体系7、质量体系数据质量管理是对数据的分析、监控、评估和改进的过程。包括规划和实施质量管理技术,以测量、评估和提高数据在组织内的适用性,提高数据对业务和管理的满足度。重点关注数据质量需求、数据质量检查、数据质量分析和数据质量提升的实现能力。图14、数据质量框架体系数据质量管理贯穿数据生命周期的全过程,除了明确数据质量管理的策略,还要善于使用数据质量管理的手段及工具,覆盖数据质量需求、数据探查、数据诊断、质量评估、质量提升等方面。8、安全体系数据安全管理是为了确保数据隐私和机密性得到维护,数据不被破坏。数据安全体系框架通过3个维度构建而成,包括政策法规、技术层面和安全组织人员。数据安全治理体系框架在符合政策法规及标准规范的同时,需要在技术上实现对数据的实时监管,并配合经过规范培训的安全组织人员,构成了数据安全治理整体架构的建设。图15、数据安全治理体系数据安全治理能力建设是一个覆盖数据全部生命周期和使用场景的数据安全体系,需要从决策到技术,从制度到工具,从组织架构到安全技术通盘考虑。图16、数据数据全部生命周期9、平台工具搭建一体化数据平台,满足前台应用准确性、快速性和多样性的数据需求,缩短研发周期、降低技术成本,将数据中心逐步由成本中心向资产中心转变,提升数据价值,实现五个打通:(1)横向打通:破除部门壁垒,横向跨专业间的分析挖掘融通;(2)纵向打通:内部多层级数据打通,形成统一资源目录。上下级数据共享交换;(3)内外打通:消除内外数据的鸿沟,实现内外部数据的关联分析;(4)管理打通:建立企业标准,实现统一管理统计口径;(5)服务打通:数据中台统一对外提供数据服务和应用构建,与业务系统和数据应用充分协同。图17、两体系两平台一服务的数据平台总体框架面向数据全生命周期,提供的一站式数据规划、集成、开发、治理、服务、应用等产品。图18、数据平台能力框架从数据接入整合能力、数据共享应用能力、数据综合管理能力、基础组件支撑能力四方面,全面建设数据能力,培育能力体系,以多类型大数据量的汇聚为基础,以统一模型为标准,为前端应用提供灵活的统一数据服务。图19、数据平台四大支撑能力数据治理需要多种数据治理工具软件的支撑,包括以主数据为核心的套装软件、以数据资产目录为核心的数据资源管理工具、以元数据和数据模型为核心的数据中台,此外还有时序数据、数据交换等。数据治理管理工具包括数据架构工具、元数据管理工具、数据指标管理工具、主数据管理工具、时序数据管理工具、数据交换与服务工具、质量管理工具和安全管理工具等。图20、数据治理工具集图21、以元数据治理为核心的数据治理工具主数据服务业务视图包括8个业务域、32个业务子域及相关业务活动,主数据管理工具是主数据全生命周期管理的平台,也是主数据标准、运维体系落地的重要保障。图22、以主数据治理为核心的数据治理工具主数据治理平台是企业数据规划、数据标准落地的载体,实现数据治理统一标准、统一规则的支撑。图23、主数据管理工具-逻辑架构二、人工智能是大数据治理核心方向“无治理、不分析”,没有高质量的数据,就不会有可信的AI。数据治理是人工智能基础,为人工智能提供高质量的数据输入。有了人工智能加持,数据治理将变得更加高效和智能。人工智能技术在数据采集、数据建模、元数据管理、主数据管理、数据标准、数据质量及数据安全等领域有着深入的应用。图24、人工智能技术在数据治理中的应用三、结束语数据治理的发展是伴随着不同行业对数据资源资产化、数据确权与合规、数据价值创造与共享、隐私保护的认识、研究和实践的一个演进过程,是一项繁杂、长期的工作,需要工匠精神、锲而不舍。注:本文转自源架构师修炼之道,侵删,如需转载请联系原作者!
如何通过数据治理来提升业务价值——业务场景治理
数据治理,一方面是为了对数据的规范管理和控制,还有一方面是让数据能够为业务提供服务和创造价值。近些年来,随着数据治理技术发生着日新月异的变化,行业对数据治理的需求和指导也被逐步推进和实践,从宏观上看,数据治理的组织架构、规章制度、标准规范日趋完善,实现了数据规范化管理,但在支撑业务减本增效、支持业务创新等方面尚存距离。具体体现在以下几点:与业务过程脱节无法针对业务过程中的数据需求与痛点进行问题解决,导致治理的数据无法真正满足业务需要或带来价值。低治理效率没有在业务流程中嵌入数据质量管理等机制,无法发现并解决早期的数据问题,需要在业务运行过程中不断纠错和补救,效率低下业务过程指标缺失没有与业务场景密切结合的数据治理,无法为业务过程提供准确和及时的业务指标,无法实现数据驱动的业务管理数据安全隐患只专注企业横向的数据分类分级,而忽略考虑了纵向业务流程中的数据安全与授权要求,可能导致重要业务数据的泄露、篡改和滥用,或者过高的数据分级影响了业务流程的流畅性业务创新受限不结合业务场景去炫新技术、鼓吹大模型,没有高质量和标准化的数据支持,难以实现真正的业务创新与赋能,大数据、人工智能只是工具与手段而已。至此,数据治理进入了一个新的发展阶段,为了避免数据治理成为数据管理部门、IT部门的一厢情愿,而忽视业务部门的需求和参与,形成数据治理的怪圈,企事业机构的数据管理部门开始从宏观的数据治理框架和策略,转向具体的业务流程和场景的数据治理,以此为业务提供有效的数据支持和决策依据,增强业务的参与度和满意度。一、结合业务场景的数据治理业务参与到数据治理过程中,业务流程是一道绕不开的主题。业务流程是企业为实现特定目的而执行的一系列活动或任务。业务流程是企业运营的基础,也是数据产生和消费的场景。数字化、可视化业务流程,可以通过数据来更好提高业务问题识别度、专注业务问题实际解决,从而增强企业的竞争优势和客户满意度。企业的业务流程可以看作是数据的源头,数据都是在各种业务场景和业务流程中产生和使用的。如果脱离了业务流程,进行的数据治理就可能变成空中楼阁,无法产生真正的业务价值。因此,将数据治理融入到业务流程中,进行业务场景化的数据治理,就变得极为重要。下面以一个大家比较熟悉的保险行业业务来描述如何以业务场景进行数据治理作为例子。我们都买过保险产品,日常也体验过诸如车险、商业医疗险等这些日常险种服务,来年如果不续保、想更换保险公司的最大原因通常也都是对理赔服务不满意而导致,因此保险公司如何提高客户满意度、降低客户流失率,就可将保险理赔选作为数据治理的一个业务场景,定位业务问题与流程、联动各利益相关者制定数据方案。我想通过下面这张图来说明数据治理如何结合理赔业务场景来提升业务价值的。第一步:明确业务目标在选定业务场景的数据治理同时,首先须明确该场景的治理目标。通过客户满意度调查和客户流失数据分析,发现理赔业务中存在客户查询理赔进度困难、理赔流程自动化程度低等问题。因此,确定项目的业务目标是:改善理赔效率,提升客户满意度。第二步:分析业务问题,确定关键数据要素根据业务目标,识别出两个关键业务问题,分析这两个业务问题的根因,确定保单记录、理赔记录、代理商和客服中心的记录作为关键数据要素。这些数据要素关系到理赔进度跟踪和自动化流程执行。第三步:对数据要素按业务和技术维度梳理1)业务维度设置理赔时长、客户满意度、自动化程度为关键绩效指标(KPI)确定量化考核指标,如理赔时长减少5%,满意度达到4.5分等制定数据治理规则,如理赔政策一致性规则、数据质量规则2)技术维度明确关键数据要素的来源系统,如保单系统、理赔系统数据集或表单,如保单标头、理赔内容等信息项与属性,如理赔类型、理赔金额等第四步:建立规则与属性的关联将业务规则与技术属性关联,例如将理赔政策一致性规则与理赔类型属性关联。第五步:构建血缘关系通过关联保单系统和理赔系统中的数据要素,构建起端到端的血缘关系,包括业务血缘、数据血缘,应用血缘实现业务监控与行动。通过对理赔业务场景的数据治理,明确了业务目标,找到影响目标的关键问题,针对问题建立了数据KPI和数据核查规则,通过数据血缘、业务血缘的联动来跟踪和监控数据,提醒、督促利益相关者及时处理问题,最终实现了提升理赔效率和客户满意度的目标。这充分体现了业务场景数据治理的重要性。与脱离业务的数据治理相比,业务场景治理结合具体业务流程和问题,可以更好发挥数据治理的价值,解决实际业务痛点,而不是停留在一味的落标率、数据仓库质量达标率、血缘覆盖度等纯治理过程中。二、如何实现业务场景数据治理北京数语科技有限公司致力于做技术最先锋的数据治理厂商,如何将先进的数据治理技术与客户业务流程相结合,通过智能化和自动化创建数据治理业务场景,帮助企业快速落实业务流程的数据和规则,技术驱动的数据治理与业务流程结合,从而实现企业的数字化转型和价值增长。数据治理和业务流程之间存在着紧密的联系和相互影响。一方面,数据治理为业务流程提供了可靠、准确和及时的数据支持,帮助企业做出更好的决策和行动。另一方面,业务流程为数据治理提供了清晰的目标、需求和反馈,帮助企业优化数据的生命周期和价值。根据上述保险理赔的例子,通过将数据集、属性、数据标准、关键指标以及法规政策等元素融入业务流程,将人和行为活动关联起来,理解数据在其中的上下文,实现数据治理的业务场景化。如何通过技术进行业务场景治理落地呢?我将以下面三个步骤综合描述。第一步:创建数据治理业务场景数据治理业务场景是指将数据治理与业务流程相结合,形成一个完整的数据治理视角,包括业务流程、业务节点、业务数据、业务指标、业务规则、业务利益相关者等元素。创建数据治理业务场景的步骤如下:1)围绕业务场景构建数据治理基础平台:维护好数据标准、做好指标定义,逆向应用系统数据模型,对数据进行分类分级、开发数据质量检核与清洗规则、采集全面的元数据生成血缘。这些是数据治理的基础工作,为数据治理业务场景提供数据的规范性、完整性、准确性、可信性和可用性。2)创建关键业务流程:根据业务场景与业务方进行协作梳理核心业务流程,在画布中定义出关键业务节点形成业务流程。这些是业务场景治理的核心工作,为数据治理业务场景提供业务的流程性、连贯性、逻辑性和可视化。3)关联业务节点中的全方位元素:围绕业务流程智能、自动关联业务场景中的利益相关者、数据集等元素,自动形成人、事、物、活动于一体的数据治理业务场景。为数据治理业务场景提供业务的全面性、关联性、动态性和智能化。 第二步:配置数据治理目标与规则数据治理目标是指根据业务目标分解出业务问题,将问题落地成KPI与指标、规则,通过数据治理业务场景中的人和制度落实考核,设计考核标准、时限。配置数据治理目标与规则的步骤如下:1)明确业务目标:业务目标是数据治理的出发点和归宿,需要明确业务的期望和方向,如改善理赔效率、提升客户满意度。2)分解业务问题:业务问题是数据治理的驱动力和挑战,需要分解业务目标,找出影响业务目标的关键因素和障碍,如查询理赔进度困难、理赔流程自动化程度低。3)落地KPI与指标、规则:KPI与指标、规则是数据治理的衡量和执行,需要将业务问题具体化,定义出可量化和可执行的KPI与指标、规则。如理赔登记资料完整率、现场调查时长、审批时长、付款时长。4)设计考核标准、时限:考核标准、时限是数据治理的激励和约束,需要根据KPI与指标、规则,设计出合理和可达的考核标准、时限,如数据质量达标率、数据治理完成率、数据治理周期、数据治理奖惩等。三、驱动业务流程提升与改进业务流程提升与改进是指根据数据治理目标与规则,实时监控业务场景中设定KPI变化、分析业务指标趋势发展,对触碰设定的阀值预警,根据规则进行预案决策。驱动业务流程提升与改进的步骤如下: 1)实时监控KPI变化:KPI变化是数据治理的反馈和结果,需要实时监控业务场景中设定的KPI,如业务指标、数据质量、数据安全等,及时发现数据治理的效果和问题。2)分析业务指标趋势发展:业务指标趋势发展是数据治理的分析和预测,需要分析业务场景中的业务指标,如审批时长、赔付时长、客户满意度的现状和趋势。3)对触碰阀值预警:阀值预警是数据治理的告警和响应,需要对业务场景中触碰设定的阀值,如数据质量低于标准、数据安全出现风险、数据一致性出现差异、数据分析出现异常、数据应用出现问题等,及时发出预警和通知。4)根据规则进行预案决策:预案决策是数据治理的决策和改进,需要根据业务场景中的规则,如数据质量修复、数据安全处理、数据一致性协调、数据分析优化、数据应用改进、紧急业务行动等,采取相应的措施和方案,提升和改进业务流程。三、业务场景数据治理提升业务价值通过上述保险业案例,我们可以理解业务场景数据治理的核心思想是将数据治理的目标、原则、流程、标准、指标、工具和组织等要素与业务场景相结合,形成一套完整的数据治理体系,从而实现数据治理的有效性和高效性。业务场景数据治理是一种以业务目标为导向,以业务流程为切入点,以数据为支撑的数据治理方法,它能够更好地满足业务的多样化和动态化的需求,实现数据和业务的协同和共赢。业务场景数据治理的优势在于,它能够更贴近业务的实际需求和场景,更灵活地应对业务的变化和发展,更有效地解决数据治理的难点和痛点,更有利于提升数据治理的成熟度和水平,从而为业务流程提供更有价值的数据支持,帮助企业实现业务的创新和优化,提升业务的效率和效益,增强业务的竞争力和可持续性。总之,业务场景数据治理是一种符合数据治理的本质和目标的数据治理方法,它能够实现数据治理和业务流程的有机结合,为企业提供更高质量、更安全合规、更具价值的数据,从而为企业的发展和转型提供强大的数据动力和保障。
数据指标的华丽蜕变:治理之路
指标类文章在朋友圈和公众号中隔三差五就能阅读到,说明此类文章颇受广大群众欢迎。同时,这也意味着企业指标管理尤为重要。作为数据指标的产品经理,我也一直默默关注同行的分享。今天,我想从指标治理角度来分享一些我的看法。指标建设通常相对容易,但确保指标的长期良好运营、保持其新鲜度、规范性、高质量和安全性,却是指标管理上的难题。那么,数据治理部门对数据指标有哪些主要工作要点呢?以下几点最受瞩目:⦁ 统一数据指标的定义和管理流程:确保不同团队和部门对指标的理解一致,避免混淆和误解。⦁ 保证数据指标的质量与安全可管、可控:建立数据质量评估机制,监控数据指标的准确性、完整性和一致性。同时,确保数据的安全性,防止数据泄露和滥用。⦁ 更好地为企业更多用户赋能:指标不仅仅是数据分析人员的工具,还应该为企业的各个层级和角色提供有用的信息。数据治理部门需要积极推动指标的广泛应用,让更多人受益。为了给数据治理的同仁们提供更好的数据指标全生命周期治理服务,我将详细阐述以下几个方面:需求规范化管理:指标的需求应该明确、具体,并且能够满足不同用户的需求。规范化管理可以帮助确保指标的一致性和有效性。指标标准定义:明确每个指标的定义、计算方法和数据来源,避免歧义和混淆。打通数据链路:指标的数据来源可能分散在不同系统和数据库中,数据治理部门需要协调各方打通元数据各堵点,梳理数据从源头到目标指标生成的全流程路径。保障指标质量:建立数据质量评估机制,监控指标的数据质量,及时发现和解决问题。确保安全合规:数据指标涉及敏感信息,需要确保数据的安全性和合规性。最大化应用价值:指标不仅仅是数据的展示,还应该为企业决策提供有力支持。数据治理部门需要积极推动指标的应用,让其发挥最大的价值。一、指标需求规范化——确保源头权威在公众号发表的指标文章中,都提到了一个业务痛点是“同名不同义、同义不同名”。这种现象的一个重要原因是脱离需求评审管理、多处随意定义和随意创建所致。数据指标质量的根源在于对需求的准确理解和描述,因此,统一规范的指标需求管理,是指标全生命周期治理的基石,下面我们一起来分析指标需求现状及如何做好指标需求管理。现状分析随着企业数字化转型的推进,各类业务指标需求的频率和复杂程度与日俱增。但由于缺乏统一的需求语言和流程,企业里普遍存在需求表述不一、流程效率低下、冗余和重复等现象,这些问题的根源在于没有规范的需求管理。为了确保需求能够得到有效执行,企业推行需求规范化过程中通常会面临以下主要挑战:1) 业务人员需求习惯根深蒂固业务人员长期习惯了自由表述需求的方式,改变这一习惯存在很大的惯性。2) 跨系统需求协同沟通的成本高 不同职能系统之间的协作沟通成本较高,容易导致规范在系统之间存在分歧和偏差。3) 缺乏规范执行的问责和激励机制仅依赖体系很难有效执行,需要制度的支撑。需求规范指标需求规范化主要包括以下三个核心要素:1) 需求字段标准化针对需求的描述要素制定统一规范,包括指标名称、指标描述、计算公式、维度描述、使用场景等。采用统一的字段设计,避免歧义表述。2) 需求内容规范化针对不同类型需求的内容要素,制定统一的规范模板,如数据开发需求、指标衍生需求、定期调度需求等。确保需求内容的完整性和规范性。3) 需求流程标准化制定统一的需求处理流程,包括需求受理、评估审核(业务与技术参与)、优先级排序、分派实施、验收发布等环节,并结合IT系统进行流程化管理。二、指标定义标准化——确保质量一致指标定义的标准化是指标治理的基础,正如企业数据标准体系梳理一样,能够为企业构建一个通用、高质量的指标体系,避免重复建设和定义分歧,提升数据指标的可复用性和一致性。然而,在传统的数据治理模式下,往往缺乏统一的指标定义标准。现状分析1) 指标定义存在认知分歧不同业务团队或IT团队对同一指标存在不同的定义方式,导致指标的计算结果不一致。2) 指标定义质量参差不齐缺乏规范指导,指标定义的完整性、准确性和可用性无法保证。3) 指标定义的冗余和重复建设由于无法高效复用已有指标,导致大量重复劳动和资源浪费。 4) 新兴业务领域缺乏指标参考 对于新兴业务,缺少成熟的指标定义模型供参考。这些问题导致企业无法将指标视为一种可复用的标准化数据资产,从而难以充分释放数据的价值。指标定义为了提高指标定义的质量和一致性,标准化需要着力于以下几个核心要素:1) 基本属性定义标准保证指标的定义来自于需求,包括指标名称、编码、描述、维度、度量、归属主题域等基本属性的统一定义规范。2) 计算逻辑定义标准 明确计算公式、SQL/脚本逻辑、汇总粒度、时间属性等计算逻辑,以确保指标计算的规范表达。3) 分类定义标准设计统一的分类体系,方便对不同维度/度量的指标进行分门别类的治理。4) 生命周期规范 指标定义应紧密与需求管理相结合,包括设计、审核、发布、变更、废弃等全生命周期各环节的标准流程和规范。5) 质量控制标准制定评估和控制指标定义质量的标准,包括完整性、一致性、规范性等维度。通过综合运用这些标准化要素,企业可以构建一个内涵丰富且质量可控的标准化指标定义体系。三、指标元数据管理 —— 打通数据链路指标元数据是指关于数据指标本身的描述性信息,包括但不限于指标定义、计算逻辑、数据来源、更新频率、业务含义、业务场景以及关系等。通过对这些元数据进行系统化、结构化的管理和维护,可以确保组织内部所有利益相关者对关键业务指标有共同且准确的理解。在打通数据链路的过程中,指标元数据管理首先能够清晰地揭示数据从源头到目标指标生成的全流程路径,即所谓的“数据血缘”。现状分析结合我们对企业指标元数据的一些调研,总结有如下现象:1) 现有系统缺乏标准元数据接口企业若没有系统性地构建指标管理体系,业务指标往往会分散在各处(包括老旧IT系统、甚至存在一些文件当中),以至于无法直接获取标准化元数据,采集成本较高。2) 元数据质量问题困扰传统的元数据管理散乱,现有元数据质量问题严重,给集中治理带来挑战。 3) 跨系统元数据融合的复杂性 不同系统的元模型差异较大,数据融合面临技术挑战。总结来说,指标元数据管理对于打通并优化数据链路而言,不仅是技术层面的架构设计,更是推动企业数据文化形成和数据驱动战略实施的关键要素。打通链路要实现指标的元数据管理以打通数据链路,首先需要建立一套全面而规范的元数据管理体系。这一体系应涵盖从数据采集、处理、整合到最终形成业务指标的全过程,对每一环节涉及的元数据进行统一管理和维护,确保数据生命周期的全程可见与可控。1) 建立指标元数据业务场景应用体系设计指标元数据链路应用场景,将指标的定义、计算逻辑、场景所涉等完整信息得以记录、跟踪、采集。2) 实现指标资产化将指标转化为可复用的资产,支持跨系统、跨项目的共享和引用。 3) 打通上下游链路上游数据资产与下游应用之间的链路得以贯通,支持影响分析。4)主动元数据捕获与更新采用工具和技术手段自动捕获和更新指标元数据,减少人工干预带来的错误风险,同时确保元数据时效性和准确性。总之,通过对数据指标元数据进行精细化、智能化的管理,我们能够建立起透明、可靠的数据链路,为组织提供高质量、高可用的数据基础,进而支撑高效的数据驱动决策和业务运营。四、指标质量监控—— 保障数据资产价值在数据治理中,指标质量监控是保障数据资产价值的关键环节。有效的指标质量监控可以保证数据的完整性、一致性、准确性和可靠性。这涉及定期检查数据的来源、采集方法、处理过程以及验证指标的计算逻辑。及时发现和纠正数据错误、缺失或异常,有助于提高数据的可信度和可用度。现状分析然而,在传统的指标管理模式下,由于缺乏系统性质量监控,常常面临以下挑战:1) 质量问题无法防患于未然缺乏质量预警机制,质量隐患无法提前发现和纠正。2) 质量问题反馈效率低下质量问题被动暴露,反馈链路冗长,响应效率低下。3) 质量问题修复效果无法持续跟踪缺乏闭环管理,修复后无法持续验证,容易复发。4) 质量责任无法可视化问责缺乏质量度量体系,责任主体无法准确问责。这些问题不仅影响数据指标的可靠性与信任度,还直接导致了大量的质量成本支出和价值损失。因此,建立系统的质量监控体系至关重要。质量管理以下是构建指标质量监控体系的关键要素:1) 质量规则库构建涵盖不同质量维度的规则库,如完整性、准确性、及时性等。2) 自动化检测机制通过工具或平台,实现质量规则的自动化执行和检测。3) 风险分级预警根据问题严重程度,设置风险分级预警机制,提示关注。4) 主动监控触发支持定期全量扫描和按需主动触发,以及基于事件驱动的监控。5) 质量度量体系建立指标质量量化评分体系,实现可视化展示和追踪。6) 反馈闭环管理形成问题清单反馈、责任分派、修复跟踪、验证闭环的管理机制。这些要素环环相扣,构成一个完整的质量监控体系,贯穿预防、发现、反馈、管控和持续优化全过程。质量监控是一项持续改进的过程,需要持之以恒地投入。除了前面提到的规则库、检测平台等基础设施,更重要的是形成一种质量文化。一方面要通过制度机制和绩效挂钩,形成合规的内生动力;另一方面也要从外部施加压力,将质量监控理念贯穿于指标需求、设计、开发、测试各个环节,形成全面质量管理的闭环。只有从根本上重视质量,将质量思维内化于业务生命周期,才能真正保障数据指标价值,赢得业务信任与支持。五、指标权限管理 —— 确保数据安全合规通过合理的指标权限管理,我们可以明确不同角色和用户对数据指标的访问权限,从而避免数据的未授权访问和滥用。这有助于保护关键指标的敏感性。同时,指标权限管理还应与相关法规和行业标准保持一致,确保企业的数据处理活动符合法律要求。建立完善的审计和监控机制,追踪和审查指标的使用情况,及时发现并处理潜在的安全风险和违规行为。现状分析数据权限管控关乎企业指标的安全可靠。然而,在传统的管理模式下,由于缺乏系统的权限管控,常常面临以下风险:1) 数据权限管理混乱指标权限管理过于粗放,缺乏统一的标准和机制。2) 数据被滥用和泄露缺乏有效审计机制,导致数据权限的授权和使用无法得到有效管控。 3) 数据应用效率低下权限分散管理,数据的复用和共享受限。4) 缺乏合规性保障 无法有效满足监管合规要求,面临合规风险。安全合规上述问题不仅影响数据指标的安全保护,也直接制约了数据的应用价值释放。建立统一的权限管控体系,是解决这一问题的根本之策。具体而言,指标权限管控包括以下几个核心要素:1) 权限模型设计基于职责分工和数据分类,我们可以对指标预览、管理、授权、预警等相关权限进行统一配置,从而设计出一个合理的权限模型。2) 权限分级分域按照数据安全级别和业务领域,划分不同的权限级别和分域。3) 统一认证和授权 基于权限模型,实现统一身份认证和规则化授权。 4) 权限生命周期管控包括审批流程、变更跟踪、过期回收等全生命周期管控。5) 权限审计监控建立系统化审计机制,跟踪权限分配和使用情况,形成审计报告。6) 权限分析服务支持用户权限查询、应用权限查询等分析服务。以上要素构成了一个完整、规范的权限管控体系,贯穿权限设计、分配、使用、审计和维护全流程。重点梳理关键指标的权限合规审计要求,将合规理念贯穿始终。五、指标应用服务 —— 最大化数据资产价值经过前面章节的规范化实践,我们已经为指标治理奠定了坚实的基础,并从需求、定义、开发、链路、质量、权限等多个维度对指标全生命周期进行了全方位管控,显然,我们不能为了管控而管控,输出价值才是核心。然而,数据治理的价值往往很难被明确定义和衡量,这恰是本章要重点探讨的内容:如何最大化释放指标数据资产的应用价值。现状分析数据资产的核心价值在于被广泛复用和应用。在传统的管理模式下,由于缺乏复用机制和应用服务能力,通过与数据治理同仁一些调研和讨论得知在企业中常常存在以下现象:1) 指标缺乏可复用性缺乏指标元数据管理,无法实现指标跨系统、跨领域复用。2) 指标应用效率低下缺乏标准化接口和服务能力,指标应用需求响应效率低下。3) 指标使用体验差终端应用无法自动获取指标元数据,指标内涵无法直观感知。4) 冗余重复建设严重 由于复用成本高,重复建设同类指标导致资源浪费严重。这些问题严重制约了指标数据资产的价值释放。通过构建指标复用和应用服务体系,可以从根本上解决上述难题。应用赋能:以下是构建指标复用和应用服务体系的关键要素:1) 指标查询服务为内外部系统提供标准化的指标查询接口和API服务。2) 指标计算引擎基于查询服务,提供指标实时或离线计算执行能力。3) 指标影响分析分析指标上下游的关联依赖关系,评估变更影响。将指标应用到具体业务流程和业务场景中,结合业务KPI分析指标的趋势变化和业务影响。4) 指标目录服务展现企业级指标资产目录,支持检索、浏览和订阅。5) 指标可视化插件集成到报表工具等应用系统中。使报表用户能够即时列举、解释报表中指标,向指标所有者提出问题,并根据指标血缘分析理解指标的加工过程。6) 指标知识库服务基于知识图谱,提供指标语义理解和智能问答服务。7) 指标市场化运营建立指标开放复用的标准定价、交付和计费体系。8) 指标复用质量监控复用指标指导数据模型设计与开发,监控指标复用质量和复用程度等核心指标。以上能力无论是支撑内部应用,还是对外赋能生态,最大限度地拓展指标资产的应用边界和价值空间。总之,构建指标资产的复用和应用服务体系是数据治理现代化的最高阶目标。它不仅需要完备的技术支撑,更重要的是要从战略层面重塑运营模式,以服务思维驱动组织变革。
扫码关注
datablau 更多资讯
电话咨询
在线咨询
免费试用
投诉反馈
电话:400-6033-738
产品咨询及商务合作请联系
sale@datablau.com
投诉反馈请联系
support@datablau.com