数据指标体系构建一文读懂
几乎所有的数据分析工作都会提到一个词——“建立数据指标体系”，虽然这个词对于大家来说并不陌生，但是数据指标到底是什么以及如何具体的搭建，很多人还是一头雾水的。今天就来展开讲讲~一、数据指标概述在了解什么是数据指标之前，我们思考一下：为什么会出现指标？它是为了解决什么问题？人类及科学的发展是与时俱进的，早期为了使自然科学的实验及结果更具统一性及方便标准化衡量，一些标准化的专业指标应运而生。随着人类社会的发展，社会科学也越来越需要统计学来进行事物的衡量，一系列统计学指标也逐步产生了。随着新信息技术的发展，数据指标逐步被大众认可为衡量目标的方法。从社会科学角度看，指标是统计学的范畴，用于数据的描述性统计。指标是说明总体数量特征的概念及其数值的综合，故又称为综合指标。在实际的统计工作和统计理论研究中，往往直接将说明总体数量特征的概念称为指标。传统的指标有国内生产总值（Gross Domestic Product，GDP）、国民生产总值（Gross National Product，GNP）、居民消费价格指数（Consumer Price Index，CPI）、沪深300指数等。1、什么是数据指标？数据指标有别于传统意义上的统计指标，它是通过对数据进行分析得到的一个汇总结果，是将业务单元精分和量化后的度量值，使得业务目标可描述、可度量、可拆解。数据指标需要对业务需求进行进一步抽象，通过埋点进行数据采集，设计一套计算规则，并通过BI和数据可视化呈现，最终能够解释用户行为变化及业务变化。常用的数据指标有PV、UV等。本文所述的指标是衡量目标的方法，指标由维度、汇总方式和量度组成，如下图所示。其中，维度是指从哪些角度衡量，是看待事物的视角与方向，决定了根据不同角度去衡量指标。汇总方式是指用哪些方法衡量，是统计汇总数据的方式。而量度主要是明确事物的具体目标是什么，是对一个物理量的测定，也用来明确数据的计量单位。比如，播放总时长是指用户在一段时间内播放音频的时长总和（单位：分钟）。按照上述拆解，维度是指筛选的一段时间，汇总方式为计算了时间长度的总和，而量度就是统一的单位—分钟数。这里，我们可以理解为指标是由这几个方面构成，相当于英文的构词法，前缀、后缀等共同形成了一个单词。2、什么是指标体系？体系化的本质是将数据指标系统性地组织起来，具体会按照业务模型、按标准对指标不同的属性分类及分层。当然，不同的业务阶段、不同业务类型会有不同阶段的划分标准。数据指标体系含有十分丰富的统计量，从宏观上看，它是一个相对全面的有机整体；从微观上看，每个数据指标都有其特定含义，反映了某一细节的客观事实。不同的数据指标定义不同，逻辑也不同，这些各种各样的统计量共同构成了数据指标体系，使其产生不可磨灭的价值。总的来说，数据指标体系是对业务指标体系化的汇总，用来明确指标的口径、维度、指标取数逻辑等信息，并能快速获取到指标的相关信息。二、数据指标体系搭建原则1、搭建指标体系要有重点不能只是罗列指标，这是很多数据分析师都会犯的通病，上来先把大量的指标列好，也不说明优先级，先看哪个后看哪个，业务根本就看不懂。2、搭建指标体系要有目标很多人习惯了列指标，自有一套指标拆分的套路，不管我们要解决的业务问题是什么，反正就是按照时间、渠道、区域等纬度拆分，分来分去也没个具体的标准，最后还要纠结到底指标变化多少才是问题。3、指标体系不是越全越好，和业务最贴切的才是最好的这个之前的指标体系文章里反复强调了，写文章的时候会为了吸引眼球，标题写XXX行业指标体系大全，虽然给大家整理指标体系的时候尽量概括多个业务场景，指标列的很详细，但是不同的公司，业务复杂不一样，没有一套指标系统是能够通用的，只有和业务最贴切的才是最好用的。三、如何设计和落地指标体系指标体系的搭建分为两大步骤：设计指标体系和落地指标体系，这两大部分又可以拆成一些小步骤，我们先来看一张指标体系从设计到落地的整体步骤图，下面再根据这张图细分拆解其中的每个步骤是怎样落地的。1. 如何设计指标体系？1）需求来源主要需求来源随着产品生命周期而改变。搭建数据指标根据数据现状分为初中后三个阶段。首先要明确的是先有目标方案后再有数据指标，而不是凭空捏造出一些指标体系然后往产品上套。在数据指标搭建初期以产品战略目标为主，优先搭建北极星指标的全方位指标监控；中期以业务驱动为主，搭建指标衡量现有业务，业务驱动直接获取到的指标一般是二级指标，需要整合到指标模型里面去；到了后期，此时各数据指标已经搭建的差不多了，是时候根据模型查缺补漏，搭建针对产品的指标闭环，通过数据来反向推动产品的迭代优化。2）确定一级指标一级指标其实就是反映产品在各个重要方面的运营情况怎么样，把对用户的运营当成一个流水线，围绕着用户生命周期即可挖掘到一些重要的一级指标并自然而然的形成闭环。在众多指标模型中AARRR模型能很好的概括用户的生命周期，美中不足的是遗漏了用户流失这一环节，个人觉得AARRRR比较能完整概括用户生命周期，即Acquisition（获取）、Activation（激活）、Retention（留存）、Revenue（收入）、Referral（自传播）、Recall（召回）。围绕这六大方面，可以拓展以下一级指标（只是举例一些通用指标，具体的一级指标可根据具体业务进行定义）：3）得到二级指标二级指标由一级指标衍生而来，为了实现一级指标，企业会采取一些策略，二级指标通常与这些策略有所关联。可以简单理解为一级指标的实现方式，用于替换定位一级指标的问题。二级指标的作用就是将一级指标的涨跌落实到具体的业务部门或者是责任人，通过成分拆解我们可以从一级指标得到对应的二级指标。例如收入这个一级指标，通过成分拆解可以分为广告收入和内购收入等。4）得到三级指标通过二级指标的分析可以找到相应问题的责任方，而三级指标的作用正是指导该责任方去定位具体问题，进而修复问题。通过对二级指标的路径拆解即可得到三级指标，一线人员可通过三级指标的具体表现快速做出相应的动作，所以三级指标的要求是尽可能覆盖每一个关键路径上的关键动作。这里继续拿内购收入这个指标举例，通过路径拆解，最终促成内购的关键行为路径是：浏览商品、加入购物车、提交订单、支付成功。按照以上流程不断查缺补漏确定各一级指标并对其进行逐步拆解，即可搭建出一套行之有效的数据指标体系。2. 如何落地指标体系？终于到了开干时候，有了目标之后接下来就是将规划的指标进行埋点落地了。落地指标就不像设计指标那样首先着眼于一级指标，而是应该首先着眼于二级指标，因为一级指标是由二级指标组成的，二级指标埋点好了之后一级指标自然而然地可以计算出来。埋点不是一个人的事情，需要各部门通力合作，下图就是埋点的整个设计到落地的流程：不知看完这张图有没有一个疑惑，责任方为什么还要去理解熟悉需求，需求方不是给出指标了吗，照着去埋点就好了啊。如果你这么想的话，那你注定只能做一个工具人。首先各指标跟具体的业务逻辑设计紧密相关的，如果你不去熟悉业务，是无法针对指标进行多维度细化埋点设计的，最终设计出来的埋点方案必定是丢三落四漏洞百出。再者需求方给出的指标不一定是全面的，需求方往往数据意识不强，无法洞察到当前业务的很多细节是数据可分析的。所以这就需要数据产品经理熟悉业务懂产品懂用户，才能一针见血设计出一套有指导性意义的埋点方案，而不是照本画葫芦搞出一些冷冰冰的数据看看就好，要记住，每一个埋点都是有深意的，数据也是有灵魂的。明确了埋点的工作流程，接下来要确定的是选择自研数据门户还是使用第三方工具，如：神策、Growing IO、诸葛IO等。这两者主要有以下区别：自研工作量大，搭建周期长，第三方提供现成的模型，搭建周期短。自研更灵活，相对埋点实施方上报数据更友好，无需过多无谓的逻辑记录，在后期的指标计算方式上可以随心所欲，如某些耗时只要打好点，自研就可以通过两个事件的时间差计算出耗时，而有些第三方则不支持。总之，自研前期痛苦后期爽，第三方前期爽后期痛苦。从实现难度上来说自研需要的人力物力远远大于第三方服务，绝大部分中小公司会选择第三方服务，下面的埋点介绍就基于第三方服务的方式进行讲解。老规矩，在讲解之前先上一张整体的流程图：1）埋点规范文档正如前面所说，指标体系的搭建需要各部门通力合作，一份埋点规范文档既能规范工作流程提高效率，又能明确需求规范减少沟通成本避免理解出现偏差。埋点规范文档包括了工作流程规范、命名规范、需求文档规范等，这些应该在指标体系落地之初就规定好。当然由于一开始经验不足并且有的问题在后续的工作中才会暴露出来，初版的规范文档可能并没有那么详细，但是大体框架还是要有的，后续再补充一些细枝末节的东西。2）拿到需求原型就是产品功能原型或者活动原型。3）定义页面、元素名称拿到需求原型后，首先将原型里面的页面及页面中的元素名称提前定义好，以便后续进行统一使用避免不同指标出现页面命名不一致的情况。如果是页面的话建议全部命名，页面里面的元素可能会有点多，可以挑一些关键路径上的重要元素进行命名，其它元素视后续工作需求再进行埋点（当然了有精力的话全部命名进行监控是更好的，毕竟数据是多多益善，避免后续需要用数据发现没有埋点的情况发生）。4）定义事件名称为什么要规范事件名称？我直接举个例子吧，某天你想查看用户的使用路径，当你使用用户路径分析之后发现有大量的展示事件穿插在用户行为事件中，这时候你是不是很恼火。如果之前埋点的时候对事件进行规范命名，这时候你只需要在筛选条件中过滤掉事件名前缀为展示的事件，就可以轻松过滤掉所有跟用户行为无关的事件。事件规范命名除了以上好处，还有个好处就是方便需求方使用，使用者可以通过事件名轻松知道这个事件具体的含义，提高了使用效率，事件命名可由以下几部分组成：行为、对象、结果、类型。行为：事件的具体行为，主要有 4 类：点击 – 点击某个按钮或元素的一类事件。进入 – 进入某个页面或功能的一类事件。展示 – 展示某个页面或元素的一类事件。退出 – 退出某个页面或功能的一类事件。事件行为必须填写，后续可按实际情况增加其他行为。对象：事件行为对应的具体对象可以是页面，或者是功能，事件对象必须填写。结果：对该对象进行的行为最终的结果，主要有3类：成功 – 针对该对象进行的行为结果为成功。失败 – 针对该对象进行的行为结果为失败。结果 – 针对该对象进行的行为结果为成功或者失败，此时具体结果存储在该事件的维度中，事件结果必须填写。类型：此参数为拓展参数，如展示事件可能展示的是页面，也可能展示的是弹窗，这时候在事件后面加个页面后缀或者弹窗后缀，后续使用起来就能很方便的区分事件的具体类型。事件类型为可选参数，视情况而定。以上就是事件的命名标准，可以从该标准进行如下一些命名：注册_指标_成功、进入_充值页面_成功等。5）梳理指标维度这时候就要隆重介绍一下前面《指标体系搭建流程图》中提到的新4W1H分析法了。为什么叫新4W1H，因为针对传统的4W1H进行了新的的解释，在新的释义上可以更加合理的加上本人在实际工作中总结的经验。根据平时的埋点总结，事件维度主要由主题和事件因果几个大维度组成。主体即用户、设备和应用，因果即这个事件的来源和结果。通过增加因果维度可以方便的看到一个事件的来源和去向。我们先用一张图来了解下新4W1H分析法是如何定义维度的：Who：触发该事件的主体，是唯一区分用户的标志，如果用户登录了则使用用户ID（设备ID也需要记录），未登录则使用设备ID。When：事件发生的时间，使用UNIX时间戳就好。What：描述触发这个事件的参与主体具体信息，一般有三个主体，用户本身、应用、还有设备。使用第三方服务的话除了用户信息需要我们埋点设置，其他的第三方SDK都会自动采集，所以这部分参数不是我们工作的重点。Where：事件发生的物理地点，可以用过GPS、LBS、IP来判断，具体视用户的授权而定。位置信息第三方SDK也会自动采集。How：事件的具体描述，这一块才是我们工作的重点，缺乏经验的话往往会遗漏一些重要的维度，导致后续的分析支持不上。根据个人总结的因果分析法可以将事件的描述分为来源和结果描述，事件的来源去向无非有两类：多个行为造成同一个结果、一个行为造成不同结果。例如：进入充值页面，可能从不同入口进来的；点击充值按钮，可能会充值成功或者充值失败。事件的结果即为对该事件的具体信息描述。通过因果分析法进入充值页面到充值成功这一系列行为我们可以做以下事件埋点（以下事件维度只列举因果分析法相关维度，其它参数视具体业务自由增加）。通过这样的埋点，我们就可以很清晰的知道进入充值页面各个入口的分布情况，也能知道点击充值按钮后充值成功和失败的分布。6）明确上报时机事件的上报时机由事件的定义来具体决定。主要有以下三大类：展示：展示时候上报，需要明确重复展示是否重复上报，像那种自动轮播的banner就不需要重复展示重复上报，因为这样的重复上报是没什么意义的，而用户反复滑动导致的重复展示可以重复上报；点击：点击时上报，这个是最简单的上报时机，一般没什么争议；接口：这个涉及到与后端的接口交互，如前面举例的购买_金币_结果事件，上报时机则为充值成功或者失败时上报，即客户端拿到后端返回的具体结果时上报。7）输出数据需求文档当上面工作已经做完时，就可以输出需求文档了，需求文档主要包含以下信息：8）录入指标字典埋点指标上线后，为了方便业务方使用，可以将各指标按照业务分为不同的主题，方便使用者快速找到需要的指标，具体包含以下信息：四、数据指标体系搭建方法及经验那怎么才能搭建有效的指标体系呢，笔者给大家分享以下几点经验：1、掌握基本的思维模型，全面洞悉业务数据分析离不开业务，了解业务是我们搭建指标体系的前提，掌握一些基本思维模型，可以帮助我们快速、全面的洞察业务。1）5W2H模型经典的数据分析思维模型。以五个W开头的英语单词和两个H开头的英语单词进行提问，从回答中发现解决问题的线索，即何因（why）、何事（what）、何人（Who）、何时（When）、何地（where）、如何做（How）、何价（How much）。5w2h能帮助我们培养一种严谨全面的思维模式，让分析的过程更加全面更有条理，不会产生混乱和遗漏，当你觉得你的指标体系已经很完美的时候，可以用这个模型来帮助你肯找到思维的漏洞。2）逻辑树方法及MECE原则逻辑树方法可以帮我们将复杂的业务问题拆解成多个简单问题，从而帮助我们拆分更细的数据指标。Mece原则的意思是“相互独立，完全穷尽”，我们搭建指标体系的一个重要标准就是不重复不遗漏，运用mece原则可以很好的帮助我们把握核心指标，提升指标系统的有效性。3）商业画布商业画布是一种分析企业价值的工具，通过把商业模式中的元素标准化，引导我们的思维，将业务知识素材归档，在了解业务的过程中，我们可以按照下面张图来完善填充，从多个角度全面的洞察业务除了上面的思维模型，最好的了解业务的方式就是和业务方多交流，认识当前业务的关键问题，毕竟建立完善系统的指标体系需要很长一段时间，最好从部分关键点开始，先解决问题。2、指标体系搭建方法论对应业务场景的指标体系有相应的方法论，比如基于用户生命周期的指标体系AARRR、客户满意度指标体系等等，简单给大家分享几个：1）第一关键指标这个概念是我在《精益数据分析》中看到的，指的是当前阶段无比重要的第一指标，同时也指出了在创业阶段的任意时间点上应该且只关注一项重要指标。这个概念在我们搭建数据分析指标体系的时候同样有指导意义。先抓住公司当前阶段的“第一关键指标”，然后再把这个指标拆解到各部门，形成各部门的“第一关键指标”，也就是我们说的OKR，或者是KPI，然后再根据各部门的业务，基于这个第一关键指标思考应该关注哪些细化的指标。2）基于用户生命周期的指标体系：AARRR3）客户满意度指标体系：RATER指数模型总之，关于指标体系的搭建可以先模仿再优化，重点是解决业务问题，我整理的一些特定业务场景的指标体系，可以先模仿套用，再根据业务形态加以调整，快的话，2个小时一个指标体系即可搭建完成。05数据指标体系的价值点数据分析什么要搭建指标体系？有什么用？可能大部分人都说不清楚。在笔者看来，搭建指标体系的价值主要有3点：1、建立业务量化衡量的标准指标体系可以建立业务量化衡量的标准，数据分析的目的就是说明、衡量、预测业务的发展。比方说衡量一个门店经营的状况，一个门店月净利润20万元，刚看这个指标感觉这个店盈利不少，发展应该不错但是再一看前两个月的净利润，发现前两个月的净利润都是40万以上，增加了这一个指标，我们就发现了这个店的经营状况可能存在问题了。在衡量业务经营状况的过程中，单一数据指标衡量很可能片面化，需要通过补充其他的指标来使我们的判断更加准确。因此，搭建系统的指标体系，才能全面衡量业务发展情况，促进业务有序增长。2、减少重复工作，提高分析效率有了指标体系，数据分析师就可以少干点临时提数的活，指标体系建立后应该能覆盖大部分临时数据分析需求，如果指标体系搭建完了，还是有很多临时的分析需求涌现，那证明这个指标体系是有问题的。3、帮助快速定位问题建立了系统指标体系，有了过程与结果指标，有了指标的前后关联关系，就可以通过回溯与下钻，快速找到关键指标波动的原因，老板让你分析原因，再也不用愁眉苦脸了。不过这些价值发挥的前提是建立合理、有效的指标体系，且数据质量有保证，数据质量都不能保证，指标体系搭的再好，分析出来的结果也没什么意义。免责声明：本文转自大鱼的数据人生，文章版权归原作者所有，仅供读者学习、参考，禁止用于商业用途。因转载众多，无法找到真正来源，如标错来源，或对于文中所使用的图片、文字、链接中所包含的软件/资料等，如有侵权，请联系删除，谢谢！
查看详情
浅谈金融行业数据安全分类分级
数据安全管理是一项从上而下的、多方配合开展的工作。在进行数据安全管理组织架构建设时，需要从上而下建设；从而全面推动数据安全管理工作的执行和落地；以保证数据安全的合法合规、并长效推动业务的发展和稳定运行。金融行业机构应设立数据安全管理委员会，建立自上而下的覆盖决策、管理、执行、监督四个层面的数据安全管理体系，明确组织架构和岗位设置，保障数据生命周期安全防护要求的有效落实。决策层：作为数据安全管理工作的决策机构，主责工作职责为提供数据安全建设必要的资源，对重大安全事件进行协调与决策等。管理层：由科技、安全、业务、法务、审计等相关部门负责人组成，主要职责是建立数据安全工作机制、管理策略和制度体系，组织开展数据安全全面落地工作。结合监管要求和业务发展需求，组织制订数据安全整体解决方案，提升数据安全管理工作水平。执行层：职责主要在于聚焦在数据安全任务与工作上，落实数据安全管理工作要求。监管层：由审计部门、合规部门等相关工作人员构成，主要负责稽查、设计等相关工作。一、政策解读以下是人行和金融监管总局关于数据安全管理办法与要求的部分内容。《金融监管总局银行保险机构数据安全管理办法（公开征求意见稿）》共九章八十一条。包括总则、数据安全治理、数据分类分级、数据安全管理、数据安全技术保护、个人信息保护、数据安全风险监测与处置、监督管理及附则。《办法》中明确了数据安全治理架构，通过责任制、归口管理部门、业务部门、风险合规与审计部门、数据安全部门的职责划分，明确组织架构分工。要求银行保险机构指定数据安全归口管理部门，作为本机构负责数据安全工作的主责部门，承担制定数据安全管理制度标准、建立维护数据目录、推动数据分类分级保护、组织开展数据安全风险监测、应急响应及处置等职责。银行保险机构应当按照“谁管业务、谁管业务数据、谁管数据安全”的原则，明确各业务领域的数据安全管理责任，制定数据分类分级保护制度，建立数据目录和分类分级规范，将数据分为核心数据、重要数据、敏感数据、其他一般数据，并采取差异化的安全保护措施，落实数据安全保护管理要求。另外，关于人行JR/T 0197-2020《金融数据安全 数据安全分级指南》于2020-09-23发布并实施，数据安全分类参考分了4级，其中一级分为客户、业务、经营管理、监管四类数据。将影响程度分为四级：严重损害、一般损害、轻微损害、无损害。根据影响程度，将数据安全级别从高到低划分为5级、4级、3级、2级、1级。（个人金融信息保护技术规范中安全级别定义为C3、C2、C1类，这里分别对应4级、3级、2级），5级涉及影响国家安全，4级是普通金融机构最高级别数据，3级以上在公众认知里即可识别为重要数据/敏感数据，2级为企业机构内部办公常用数据，1级基本上为可公开数据。针对银行/保险同业内部实践，大部分机构接触不到5级数据，1级数据无需特定安全措施，重点还是在4级到2级之间的安全管控。数据安全性遭到破坏后可能造成的影响(如可能造成的危害、损失或潜在风险等)，是确定数据安全级别的重要判断依据，主要考虑影响对象与影响程度两个要素。影响对象指金融业机构数据安全性遭受破坏后受到影响的对象，包括国家安全、公众权益、个人隐私、企业合法权益等，影响对象的确定主要考虑的内容如下表：影响程度指金融业机构数据安全性遭到破坏后所产生影响的大小，从高到低划分为严重损害、 一般损害、轻微损害和无损害。数据定级，各级数据特征：《人行JR/T 0197-2020 金融数据安全 数据安全分级指南》根据金融业机构数据安全性遭受破坏后的影响对象和所造成的影响程度，将数据安全级别从高到低划分为5级、4级、3级、2级、1级，一般具有如下特征：金融数据安全，主要是指确保金融数据在其生命周期各阶段的安全性，通过采取相应措施，将数据安全性遭受破坏可能带来的安全影响降至最低或降至可接受的范围内。1级数据基本为公开数据，原则上无保密性要求，其安全防护应参考JR/T 0197文件有关完整性及可用性安全要求；而2级至4级数据的安全保护应综合考虑安全需求与业务需求，根据数据安全的级别不同，有侧重地采取相应的数据安全防护措施；其中，对于2级数据应优先考虑业务需求，4级数据应优先考虑安全需求，5级数据的保护应按照国家及相应主管部门的有关要求规定执行。对照之前的监管发文要求，建议可采取以下映射思路进行分级工作，仅供参考。《人行JR/T 0197-2020 金融数据安全 数据安全分级指南》数据安全分类分级示例表格部分内容如下：《人行JR/T 0197-2020 金融数据安全 数据安全分级指南》数据安全定级规则参考如下:新变化、新合规:2023年7月23日，中国人民银行起草的《中国人民银行业务领域数据安全管理办法(征求意见稿)》,《办法》共八章，共五十七条，包括数据分类分级、数据安全保护总体要求、数据安全保护管理措施等，其中第二章数据分类分级部分。二、实施路径数据安全治理工作步骤建议：数据分类分级工作步骤建议：数据分类分级操作流程建议：参考金融行业遵从的数据分类分级要求，结合数据资产梳理情况细化，从而形成数据分类框架。根据用户数据分级需求、行业监管要求等内容制定数据级别，遵从国家、金融行业、监管等相关要求，明确数据分级要素及内容，包括安全等级、重要程度、影响对象、影响范围、影响程度等。数据安全定级旨在对数据资产进行全面梳理并确立适当的数据安全分级， 是金融业机构实施有效数据分级管理的必要前提和基础，数据分级是建立统一、完善的数据生命周期安全保护框架的基础工作，能够为金融业机构制定有针对性的数据安全管控措施提供支撑。三、工具赋能以下是Datablau DDS数据安全管理平台针对数据分类分级的功能实践。数据分类分级：数据分类分级管理 - 协同分类分级：数据分类分级管理 - 智能分类分级：识别规则类型主要包括：一般规则、血缘级联规则、机器学习规则。1）一般规则：新建一般识别规则，可以依赖信息项，也可以不依赖于信息项，不依赖信息项是直接识别数据，如果要选择不依赖信息项，那就选择“安全分类”的选项。识别规则可以多个子条件的“与”，“或”组合之后形成当前识别规则条件。2）血缘级联规则：血缘级联规则识别方向当前支持下游。3）机器学习规则：算法学习的目标有：1.对表进行分类，2.对字段进行分类（依赖已分类的表），3.对字段进行分类（不依赖已分类的表），4.信息项。选择算法学习的目标之后，需要选择对应的安全分类或者对应的信息项；可以进行评分阈值（对分类结果的分数），推荐结果（最终识别结果中推荐的结果条数）的填写。最后，由数据安全管理部门以及业务部门共同确认数据类别和级别划分的合理性、恰当性，并进行评审和发布，输出数据分类分级清单。四、应用场景应用场景1：基于数据分类分级驱动的数据资产安全管控。应用场景2：基于数据安全管理体系的数据自助式分析与数据岗权。
查看详情
日化行业数据治理实践
一、项目背景在当今这个数据驱动的商业时代，所有追求卓越的企业均在积极探索如何有效利用数据资产，旨在提升运营效能、优化成本控制，并更精确地洞悉并满足市场所需。尤其对于置身于白热化市场竞争中的消费品制造业，数据管理的挑战更为显著。作为某一日化行业细分领域的领军者，B集团凭借并购策略实现了快速扩张，市场份额急剧攀升。集团推行了一种集中提供共享服务与各子公司分别负责特定品牌及区域营销的管理模式。但随之而来的是，各品牌间的历史遗留问题——包括不统一的信息系统、物料编码体系以及分散的销售渠道，加之往昔对信息化投入的不足，加剧了数据管理“赤字”的状况。面对经济增长的放缓与消费者偏好的动态变化，B集团遭遇的考验尤为严苛，其数据管理的短板不仅制约了决策速度，还推高了运营成本。意识到这一薄弱环节后，B集团果断选择与北京数语科技携手合作，借助后者在数据治理咨询领域的深厚底蕴与先进的数据治理体系，共同应对数据管理的困境。此番合作，标志着B集团向构建高效数据生态系统、实现智慧决策与精益运营迈出了关键一步。二、调研问题项目启动之初，数语科技即刻部署资深咨询顾问，对客户相关部门展开了全面调研，旨在彻底摸清数据现状，并系统性地整理出数据管理的典型难题。基于丰富的咨询实践，我们深知：在企业纷繁复杂的问题中，那些与企业战略紧密挂钩、直接影响战略目标达成的议题，应当置于解决序列的最前端，因其对企业总体投入产出比的提升尤为显著。鉴此，咨询团队入驻，即刻提议与IT部门高层开展深度对话。通过这次高端交流，我们明确了企业当前的战略焦点在于营销板块。由此，无论是从战略目标的细化落实考量，还是依据问题的紧迫性和影响力，都无一不指向营销领域的数据问题应被首要解决。明确优先级后，我们紧接着充分利用现有资料，以深化对问题现状的理解。第二阶段的工作重心落在了详尽审查IT部门先前汇总的业务用户反馈与需求上，特别关注与营销领域相关的、疑似源于数据管理不当、且影响重大、反复出现的问题，进行细致入微的探究。这一过程不仅帮助我们概览了企业的管理全貌，还揭示了企业的核心业务架构、主要业务板块、各领域间的协同机制，以及营销板块中与数据紧密互动的关键职位与用户等关键信息，进一步明确了哪些典型问题与哪些关键角色直接关联，这些问题如何牵涉到具体业务系统，以及它们对业务运行的具体影响。进入第三阶段，我们的调研聚焦于营销这一核心业务领域的关键岗位用户，如一线业务经理、导购、门店负责人及区域经理等。过往众多项目的成功经验提示我们，针对同一问题，不同用户的反馈可能存在巨大差异。在排除回答者的岗位特性、个人习惯及经验因素后，这种分歧往往暴露了沟通不足与业务流程标准化缺失的问题。面对相互矛盾的答案，我们视之为探查问题根源的宝贵线索，唯有深入分析，方能触及并解决那些隐藏深处的症结。历经三个多月的深入调研，通过对关键岗位用户的多轮访谈与广泛资料搜集，我们发现了一系列在核心业务领域极具代表性的挑战。调研完毕后，我们按二级业务领域对调研成果进行了分类整合。1、经销商管理领域：鉴于B集团多元化的品牌架构和相对宽松的销售网络，经销商管理呈现出一定的混乱状态。具体表现在，多数经销商依赖手动输入来维护库存数据，且经销商及其对应业务员的状态更新滞后，导致系统内的经销商库存、状态等信息失真，严重影响了基于系统数据进行的销售预测准确性，进而波及供应链的排程与生产计划的科学性。2、门店运营领域：尽管门店直接受公司管辖，但数据管理同样暴露出问题。部分门店随品牌并购加入，而并购后的系统并未适应多品牌交叉销售的需求，显示信息与实际情况不符，即某些门店被限定为单一品牌销售点，实则跨品牌经营。此外，新设门店信息未能及时录入系统，致使实际门店布局与销售业绩难以通过系统获得即时准确的评估。3、会员管理方面：面临多品牌企业普遍存在的难题。早年会员体系各自为政，未考虑到用户跨品牌会员身份的现实，这阻碍了针对多品牌忠诚客户的有效促销策略制定。4、营销活动记录缺失：营销活动的线上跟踪记录极度匮乏，无法在系统层面上形成闭合回路，活动效果评估无从谈起。5、产品管理问题：最为严峻。因不同品牌由相对独立的团队运作，产品属性设计趋向局部优化，忽略了全公司层面的产品属性标准化，例如，产品适用年龄段的定义在不同品牌间不统一，阻碍了跨产品分析时以年龄段为维度的数据整合，诸如此类的产品属性问题层出不穷，极大降低了产品数据的分析价值。综上所述，企业在数据质量、完整性及可用性等方面面临显著挑战，数据更多扮演着业务执行记录的角色，却未能充分发挥其在成本控制与效率提升上的指导作用，尤其是在利润空间压缩的当下，企业精细化管理的需求愈发迫切。三、提出方案尽管解决上述问题看似无需顶尖技术介入，但考虑到企业庞大复杂的信息化架构——横跨几十个系统、涉及数十万库表字段，这些已知问题仅是冰山一角。根据众多项目案例，隐匿于表面之下的问题数量可能是显性问题的数百倍，它们难以言喻且难以察觉，其根源大多在于长期缺乏系统性的数据管理和全局数据治理体系的缺失。在此背景下，期待短期内通过一两个项目彻底根治问题是不切实际的幻想。更明智的做法是，先启动一个试点项目，为客户构建一个短期能缓解显见问题、并能随后续项目迭代完善的管理体系。通过试点示范验证方案的有效性，为后续的逐步推广和持续优化奠定坚实基础。众多数据管理先进的企业已成功克服相似挑战，他们的实践经验经过市场检验，极具参考价值。近年来，《华为数据之道》倡导的以业务对象为中心的数据架构方法，以及中国信息通信研究院发布的《数据资产管理实践白皮书》中提及的数据标准化路径，尤为值得传统企业借鉴。数语科技咨询团队，基于丰富的实战经验，融合业务对象与数据标准的精髓，针对本次项目前期调研的发现，为该企业量身定制了一套自下而上推进的数据资产管理策略。策略从具体部门岗位遇到的核心问题出发，提炼总结成企业管理的通用经验和方法论，逐步赢得上级部门乃至集团总部的认可，最终推广至其他业务板块。这一过程始于关键业务对象的识别与细化，包括其数据项、属性归属及质量规范的梳理。具体实施步骤包括：1、数据资产盘点：针对之前识别的业务领域痛点，通过剖析业务流程、活动及表单，锁定关键业务对象及其数据项，并明确每一数据项的业务、技术与管理属性，从而编制企业核心数据资产清单及目录。2、数据标准化：在识别的数据项基础上，制定数据标准，涵盖业务规则、权责界定、管理规范及统一业务术语等。为加速成效，经与客户协商，本阶段项目重点针对产品、组织、财务科目三大业务对象的数据项实施标准化工作。3、数据质量改善：鉴于访谈反映出的数据质量问题，标准化后，我们将依据质量准则开发数据清洗方案，并在可能的情况下改进数据源系统，促进数据标准在各应用、品牌间的互联互通。经过深入探讨与论证，上述方案相比传统自上而下的全面铺开模式，更具实施可行性，也更契合该企业注重实效、求真务实的管理文化。四、落实方案尽管整体方案构想得十分美好，但要将其转化为现实则需完成大量细致而繁复的任务，其中，制定数据项的数据标准尤为充满挑战。鉴于每家企业的独特性，关键数据标准的确立需经由业务、IT及管理层等多方面的充分沟通与讨论。过程中，不同业务用户对同一条数据标准的理解偏差亦是常态。虽然部分标准可参照行业惯例或企业历史实践，但大多数标准的科学性、合理性及其适应性仍需所有利益相关方共同探讨。B集团作为一家历经多次并购且管理架构相对宽松的企业，旗下各品牌团队往往沿用各自的惯常标准，忽略了与其他品牌团队标准的兼容性问题。长此以往，标准不一导致的弊病将深刻影响企业的日常运营。项目初始阶段的多次高层会议揭示了迅速解决数据标准一致性问题的迫切性。在理论层面，梳理数据项与确立数据标准的最佳途径是始于业务流程的分析，通过流程辨识业务实体及其对应的数据项。项目初期，咨询团队尝试从现有的流程文档入手，借助客户方产品经理的实操展示与讲解来明确业务实体与业务活动。然而，实践发现，B集团在前期并未系统梳理业务流程，现有流程资料零星散乱。尽管偶有找到产品操作手册和培训资料，但因系统频繁迭代，这些文档与实际操作之间存在较大出入，连产品经理也无法详尽阐述其负责产品的每一项功能细节。鉴于此，项目团队转而采取更为深入的业务用户访谈策略，力图重构完整的端到端业务流程。遗憾的是，营销领域的业务活动极为复杂，业务用户难以抽出足够时间参与访谈，导致项目推进一度陷入停滞。项目团队在意识到预设的理想方案并不贴合客户实际情况后，与客户深入沟通并探讨了更为灵活的解决方案路径。鉴于全面捕捉业务活动全貌的难度，我们调整策略，从具体而迫切的数据问题切入。在初步调研阶段，已积累了大量的典型问题案例。我们据此逆向追溯，将问题描述与相应应用系统的数据录入界面相匹配，比如，针对“物料规格”这一典型的数据管理难题，项目组协调产品经理定位到涉及物料规格录入与查看的具体界面，并进一步确认哪些业务用户与之交互频繁，随后通过访谈深入了解他们在日常操作中如何填写及应用这一字段的细节。后续的调研揭示了一个有趣的发现：在液体产品类别中，“物料规格”字段填写存在不一致性，有的品牌团队使用“罐”，而另一些则采用“瓶”。由于系统界面未明确规范填写规则，不同业务人员依据个人理解和习惯填写，从个体角度看并无不当，但在后续数据分析阶段，系统难以自动识别“罐”和“瓶”为同一规格，造成数据处理困扰。项目团队随即提出将“物料规格”的标准化作为首要建议，供客户方业务负责人审议。经甲方更广泛地调研与分析，决定对在售商品的物料规格进行全面梳理，最终归纳为几类统一的数据标准，例如在液态类中统一采纳“瓶”作为表述，并采用“单品净含量*每件单品数(单位)/件”作为标准化计量单位。经过一系列周密的调研、沟通与讨论，项目团队在诸如产品简称、事业部划分、包装类型、标准容量等领域确定了一系列具体的数据标准，有效提升了数据的一致性和分析的准确性。专业的咨询顾问往往倾向于运用Excel来规划和设计数据资产及相应的数据标准框架，然而，这种方法既不能有效解决现有IT系统中数据与数据标准不符的现状，也无法有效预防未来新增或修改数据时再度偏离标准的潜在风险。一套完整的数据治理体系不仅要求在咨询层面洞察问题、设计解决方案，还必须依托强大的平台工具来确保数据标准的切实落地。这既包括依据数据标准设定的质量准则对现有数据进行净化处理，也涉及优化上游业务系统，以从根本上防止不符合数据标准的数据产生。鉴于此，客户选择了数语数据治理平台（DAM）作为国内领先的工具，用于数据治理实践，并采纳数语科技的专业服务来检测数据质量。面对相似挑战的客户常规做法是，由实施顾问协同业务人员、产品经理及IT团队共同确认每个字段的清洗需求与可行性，从而划定清洗范围。随后，借助DAM平台配置质量核查规则，识别数据问题，并输出具体的清洗策略。然而，在着手数据清洗任务时，项目团队面临了新难题。在与业务、产品和技术团队共同界定清洗范围时，发现大部分字段的清洗操作可能会干扰系统的正常运行和业务流程，且系统中充斥着大量已失效的产品数据。经过一轮与业务和产品团队的确认，尽管提出了120个字段的清洗方案，但IT部门审核后仅9个字段适宜清洗，且涉及的有效产品数据有限，项目进程再度受阻。为突破这一困境，项目团队与客户携手探索创新策略。他们决定将最终确认的清洗范围及对应产品数据导出，依据数据标准手动筛查问题，明确标注每条数据清洗后的正确形态，并获得业务人员的书面认可。这一过程还意外揭示了数据标准初定时的部分不合理之处或对实际业务场景的忽略，促使团队进一步修订和完善数据标准清单，为数据治理工作的深化奠定了坚实基础。五、成效总结从支撑业务目标的视角审视，数据治理的核心旨在通过增强数据的价值来促进生产效率和产品合格率的提升，同时降低成本，并为营销活动提供强大动力。为达成这些宏伟目标，企业必须投身于一系列精心策划的数据治理实践，涵盖数据质量审计、数据标准化作业以及数据集成等多个维度。面对数据治理不足的现状，企业往往会遭遇一系列相似的困扰：生产效率与产品质量双双下滑，营销活动的表现不尽人意，既定的营收目标难以企及，还间接削弱了顾客满意度。这些问题直观反映在诸如产品合格率的滑坡、材料浪费率的上升、以及营销活动转化效率的下降等关键绩效指标上。改善这些指标，无疑是业务与信息技术（IT）部门携手合作的成果。业务侧通过优化流程，确保生产交付高效、生产效率与成本管理得宜、以及在营销活动中有效吸纳新客户等；而IT侧，则依托办公自动化系统、客户关系管理系统、以及仓储管理系统等关键业务系统，为业务活动的实施提供技术支持。在此框架下，各类业务操作生成的数据作为宝贵的业务数据项，如产品合格计数、材料损耗量、新客户获取量、活动参与及实际购买人数、产品线详情与规格参数等，均需被妥善管理。一个高效的数据治理体系能够有力保障这些业务系统内数据的准确性和可用性，为IT系统高效驾驭业务数据提供强有力的支持，从而为企业整体效能的飞跃奠定坚实的基础。经过数月的深入合作与努力，B集团在数据治理领域的实践取得了显著成效。一方面帮客户发现并解决了很多明显的数据问题，另一方面通过项目过程，帮甲方认识到数据治理对企业的价值。不仅在具体问题上取得了突破，更在企业层面上树立了数据治理的重要性与价值认知。客户逐渐认识到数据治理不仅仅是IT部门的工作，而是需要业务、IT、管理等各方共同参与，才能为企业实现其业务目标，并通过具体的业务场景来体现其价值。以下是数据治理实践的成效概览：1、问题识别与解决：通过细致的调研与分析，项目团队成功识别并解决了营销领域中经销商管理、仓库数据准确性、会员系统整合、经销活动记录缺失及产品属性标准化等一系列关键问题。这些问题的解决直接提高了数据的准确性和可用性，为决策提供了坚实的基础。2、数据标准化与质量提升：通过梳理数据资产、制定数据标准，特别是针对产品、门店、经销商等核心业务对象的数据标准化，显著提升了数据的一致性和可比性。实施数据清洗，尽管初期面临挑战，但通过创新策略，如数据导出人工校验，有效推进了数据质量的提升，并逐步在业务系统中落实数据标准，为后续数据的准确输入和高效利用打下了基础。3、业务与IT协同：项目过程中，强化了业务与IT部门之间的沟通与合作，共同参与到数据治理的各个环节中。这种跨部门合作模式促进了业务流程与数据管理的深度融合，使数据治理不再是IT部门的单一任务，而是成为了全公司的共同责任，提升了整体效率和响应速度。4、管理与文化变革：数据治理项目的实施，推动了B集团内部管理文化的转变，从领导层到基层员工，都开始意识到数据质量与标准化的重要性，形成了数据驱动决策的意识。通过项目实践，集团上下对于数据治理的价值有了深刻的认识，为后续的数据驱动转型奠定了良好的文化基础。5、技术平台的应用：数语数据治理平台（DAM）的引入，不仅为数据质量检查和标准化提供了强大的技术支持，还为持续的数据治理提供了自动化工具，减少了人为错误，提高了工作效率。平台的实施与优化，为B集团构建了一个可持续的数据治理框架。6、业务绩效提升：随着数据质量的提升和数据标准化的推进，B集团在生产效率、成本控制、营销活动效果等方面均有所改善。例如，基于准确的经销商库存数据，企业能够做出更精准的销售预测，优化供应链管理；通过整合多品牌会员数据，实现了更有针对性的促销策略，增强了客户满意度与忠诚度。7、未来扩展与持续优化：项目试点的成功为B集团提供了宝贵的经验，为数据治理的持续迭代和全面推广铺平了道路。企业已具备进一步深化数据治理工作的能力，有望在更多业务领域复制成功经验，持续提升数据资产的价值，为企业的长期发展和市场竞争优势提供坚实的数据支撑。B集团的数据治理实践不仅解决了当前紧迫的数据问题，更重要的是，它开启了一条通往数据驱动型组织的道路，为企业的数字化转型和可持续增长奠定了坚实的基础。
查看详情
既不懂业务，又卷不动业务部门，我该怎么干数据治理
数据资产盘点是典型的知识密集型工作。以元数据补全为例：业务元数据（Business Metadata）通常描述了数据的业务含义、数据如何被使用、数据的所有者以及数据的业务规则等。在数据仓库、数据湖或任何企业级数据平台中，业务元数据对于数据消费者（如业务分析师、报告制作者、数据科学家等）至关重要，因为它帮助他们理解数据的上下文和用途。以下是一些业务元数据补全的示例：示例 1: 数据字段的业务描述假设你有一个名为“sales_order”的数据表，其中一个字段名为“order_amount”。原始的元数据可能只包含字段名和数据类型。业务元数据补全可以包括：· 业务描述：订单的总金额（包括商品、税和折扣）· 数据单位：美元（USD）· 数据来源：销售系统的订单详情页面· 数据所有者：销售部示例 2: 业务规则对于上述的“销售订单”数据表，可能有一些业务规则需要记录为业务元数据：· 验证规则：order_amount 必须大于 0。· 业务逻辑：如果订单是促销订单，order_amount 可能包含额外的折扣。· 数据质量检查：每天检查 order_amount 是否与财务系统中的总销售额相匹配。示例 3: 数据使用案例为了向数据消费者展示数据的重要性，可以记录一些数据使用案例作为业务元数据：· 报告：销售部门使用 order_amount 字段生成月度销售报告。· 分析：市场部门使用 order_amount 来分析不同产品类别的销售趋势。· 决策支持：管理层使用 order_amount 来评估公司的整体业绩并做出战略决策。示例 4: 数据流图数据流图（Data Flow Diagram）可以作为业务元数据的一部分，展示数据如何在不同系统、应用和部门之间流动。例如，可以记录：· “销售订单”数据从销售系统流向数据仓库，然后用于报告和分析。· 如果存在任何数据转换或清洗过程，也应记录在这些图中。通过补全这些业务元数据，组织可以确保数据的准确性和一致性，提高数据治理水平，并促进跨部门和跨系统的数据协作。数据资产盘点需要了解不同业务域的知识。通常企业各业务部门的业务骨干才能了解这些业务知识，或者卷业务部门的IT供应商也能解决大部分问题。天下没有免费的午餐。业务部门是利润部门，更强势。业务骨干是业务部门的关键资源，没有大领导的指示，是很难调的动这些资源。调动业务部门的IT供应商也是需要付出成本的。甚至有些IT供应商不开放自己系统的数据字典给到客户。因此，数据治理的从业者需要一个Co-pilot平台，赋能数据治理知识工作者开展数据治理工作。数据治理开展前期先做准备工作，之后由业务评审、确认，这样工作就好开展很多。Datablau AI 小数应运而生，小数拥有海量的行业知识，广泛涉及金融（银行、保险、证券、基金）、制造等各种行业术语。这一庞大的知识体系不仅包括行业规范、制度、体系、指引、案例等，同时还集成了数据模型、标准、指标、数据字典等治理相关的行业数据。通过AI 小数的计算能力可以有效的赋能元数据补全、数据质量规则构建，数据建模、智能数据安全分类分级、智能数据资产对标等数据治理相关工作。如下图所示，问询证券行业的主数据如下图所示，问询DAM平台如何采集元数据Datablau AI小数如何试用？方式1：当前Datablau AI 小数免费开放试用，在浏览器打开https://ai.datablau.cn/无需登录注册。方式2：打开Datablau公众号，在菜单栏中找“文档资料”，选择“AI智能小数”即可试用。
查看详情
数据分类分级概念、方法、标准及应用
数据已与土地、劳动力、资本、技术并列为先进生产力五大要素，是国家重要的基础性、战略性资源。如何开放数据共享、提升数据价值的同时保障数据生命周期安全与合规，是企业需要解决的重要问题。而对数据进行数据分类分级安全管理，是数据安全保护的重要措施之一。1.数据分类分级概念及挑战根据《GB/T 38667-2020 信息技术-大数据-数据分类指南》的定义，数据分类是根据数据的属性或特征，按照一定的原则和方法进行区分和归类，以便更好地管理和使用数据。数据分类不存在唯一的分类方式，会依据企业的管理目标、保护措施、分类维度等形成多种不同的分类体系。数据分类是数据资产管理的第一步。不论是对数据资产进行编目、标准化，还是数据的确权、管理，或是提供数据资产服务，进行有效的数据分类都是其首要任务。数据分类更多是从业务角度或数据管理的方向考量的，包括行业维度、业务领域维度、数据来源维度、共享维度、数据开放维度等。同时，根据这些维度，将具有相同属性或特征的数据，按照一定的原则和方法进行归类。数据分级则是按数据的重要性和影响程度区分等级，确保数据得到与其重要性和影响程度相适应的级别保护。影响对象一般是三类对象，分别是国家安全和社会公共利益、企业利益（包括业务影响、财务影响、声誉影响）、用户利益（用户财产、声誉、生活状态、生理和心理影响）。企业建议选取影响程度中的最高影响等级为该数据对象的重要敏感程度。同时，数据定级可根据数据的变化进行升级或降级，例如包括数据内容发生变化、数据汇聚融合、国家或行业主管要求等情况引起的数据升降级。数据分级本质上就是数据敏感维度的数据分类。任何时候，数据的定级都离不开数据的分类。因此，在数据安全治理或数据资产管理领域都是将数据的分类和分级放在一起，统称为数据分类分级。目前分类分解存在的挑战有：1. 复杂业务的分类分级标准与规则不好定义，行业标准对落地细则的指导不足。2. 数据分类分级之后缺乏对应的有效管理和使用策略，让数据分类分级流于形式。3. 部分业务数据不具备明显数据特证，通过规则自动识别准确率不高。特别是针对非结构化数据的分类分级识别困难较大。2.国内已发布的数据分类分级相关标准在开展分类分级工作时参考最多的标准有如下：其他标准参考如各类地准、国标、行标：3.企业数据分类分级实现行业发布的数据分类分级标准可以为企业实施提供参考，但企业真正着手建立企业内部数据分类分级规范并不能完全照搬行业标准，行业标准的内容一般较为宏观，分类的颗粒度相对较粗，可能不能完全覆盖企业的主要数据类型。这就需要企业结合自身业务场景及行业实践来建立适合本业务特性的分类分级标准。3.1 数据分类分级实施路径在实际落地过程中，通常会把数据分类分级的实施路径总结成为五步：第一步，咨询调研分析。基于行业相关的监管政策和标准规范，对业务系统、数据资产现状和数据安全现状等进行全面调研分析，从而对企业业务、数据及安全现状做到“心中有数”。第二步，数据资产梳理。自动化识别数据资产，对数据资产进行梳理打标，构建好数据资产目录和数据资产清单，为企业数据分类分级打好基础。第三步，数据分类方案。基于数据资产清单进行数据分类体系设计，完成数据分类打标实施。打标实施完之后，再进行分类分级规则调优，提升自动化分类的比例和准确率。第四步，数据分级方案。先进行数据分级体系设计，接下来进行数据分级的规则调优，尽量提升自动化分级的覆盖率和准确率，降低人工成本，然后是数据等级变更维护机制和工具平台设置。第五步，数据分类分级全景图。构建数据分类分级清单，实现数据分类分级可视化。同时产出一些数据分类分级运营机制，为数据安全分级保护打好基础，做好准备。3.2 数据分类数据分类是指根据数据的属性或特征，按照一定的原则和方法进行区分和归类，并建立起一定的分类体系和排列顺序，以便更好的管理和使用数据的过程。基于不同的数据属性或特征，对数据采用不同的分类视角，例如有数据管理视角、数据应用视角和国家行业组织视角。从数据分类视角出发，结合数据分类方法对数据进行分类，把数据分类的方法分成三种，线分类法、面分类法和混合分类法。线分类法旨在将分类对象按选定的若干个属性或特征，逐次分为若干层级，每个层级又分为若干类别。同一分支的同层级类别之间构成并列关系，不同层级类别之间构成隶属关系。同层级类别互不重复，互不交叉。面分类法是将所选定的分类对象依据其本身的固有的各种属性或特征，分成相互之间没有隶属关系即彼此独立的面，每个面中都包含了一组类别。将某个面中的一种类别和另外的一个或多个面的一种类别组合在一起，可以组成一个复合类别。面分类法是并行化分类方式，同一层级可有多个分类维度。混合分类法是将线分类法和面分类法组合使用，克服这两种基本方法的不足，得到更为合理的分类。混合分类法的特点是以其中一种分类方法为主，另一种做补充。适用于以一个分类维度划分大类、另一个分类维度划分小类的场景。分类的维度可以有很多，包括数据的来源、内容和用途等，有时候可能是多维度的结合，例如，从个人信息的维度，将数据分为个人信息和非个人信息；从业务维度，分为财务数据、业务数据、经营数据等。数据分类示例：3.3 数据分级数据的分级一般是依据数据重要性和敏感度高低来划分的。《中华人民共和国数据安全法》要求，根据数据一旦遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益造成的危害程度，将数据从低到高分成一般数据、重要数据、核心数据共三个级别，这是从国家数据安全角度给出的数据分级基本框架。企业比较常用的分级规则是将一般数据的敏感/重要程度从低到高分为公开（1级）、秘密（2级）、机密（3级）、绝密（4级）四个级别，如下示例：工业和电信领域企业，如涉及国家核心数据和重要数据的分类分级可参考《工业和信息化领域数据安全管理办法（试行）》中第七条至第十条要求。以金融行业数据分级为例，金融行业数据等级一般分为五级：五级数据指对国家安全造成影响，或对公众权益造成严重影响数据。四级数据指对公众权益造成一般影响，或对个人隐私或企业合法权益造成严重影响，但不影响国家安全数据。例如个人健康生理信息、个人身份鉴别信息等。三级数据指对公众权益造成轻微影响，或对个人隐私或企业合法权益造成一般影响，但不影响国家安全数据。例如比较常见的个人信息，姓名、身份证，联系方式等。二级数据指对个人隐私或企业合法权益造成轻微影响，但不影响国家安全、公众权益数据。一级数据指对个人隐私或企业合法权益不造成影响，或仅造成微弱影响，但不影响国家安全、公众权益数据。数据分类类别，包括但不限于研发数据、生产运行数据、管理数据、运维数据、业务服务数据、个人信息等。数据分级级别，按照国家有关规定，根据数据遭到篡改、破坏、泄露或者非法获取、非法利用，对国家安全、公共利益或者个人、组织合法权益等造成的危害程度，将数据分为一般数据、重要数据和核心数据三级。分级原则如下：合法合规原则：分级应遵循有关法律法规及部门规定要求，优先对国家或行业有专门管理要求的数据进行识别和管理，满足相应的数据安全管理要求。就高从严原则：数据分级时采用就高不就低的原则进行定级，例如数据集包含多个级别的数据项，按照数据项的最高级别对数据集进行定级。动态调整原则：数据的级别可能因为多个低敏感的数据聚合提高数据级别，也可能因为脱敏或者过期等原因降低数据级别。完成数据资产的识别与分类分级定义后，需要制定并发布企业的《数据安全分类分级标准》及配套的安全要求，以在企业内统一规则及实施流程。安全标准重点是需要针对不同安全级别的数据采取差异化的安全策略，对高敏（机密、绝密级）数据进行重点管理，而公开和秘密级别的安全措施要适度。特殊业务场景下，可以通过对高敏数据进行脱敏、加密以及采用隐私计算等措施来降低数据管级，提高数据的内部流转，实现数据价值。3.4 分类分级在业务中的应用分类分级标准制定只是企业数据分类分级安全管理工作的起点。真正要落实数据分类分级安全要求，需要建立配套的实施流程与工具。确保在不同的业务场景中能够识别并标识出数据的分类与分级，并实施对应的安全措施，例如：在权限申请和数据分享的场景，不同级别的数据采用分级安全控制策略与审批流程；在安全事件处理场景，不同级别的数据的事件定级及响应处理流程有差异等等。图1 数据分类分级应用实践案例如上图数据处理全流程涉及的数据安全管控技术示例如下：1. 数据源验证、合规评估、个人信息采集告知同意2. 数据源验证、访问控制、传输加密、个人敏感信息内容加密3. 数据使用审计、权限控制、数据脱敏、安全计算4. 联邦学习、访问控制、数据访问审计5. 访问控制、数据脱敏、特权管理6. 数据脱敏、外发安全审计、API管控7. 服务端数据存储加密、数据库访问控制、安全审计、分类分级8. 敏感数据识别、数据分类分级9. API安全监测、访问控制、安全审计10. 数据脱敏、安全审计11. WEB数据展示/下载管控/审计/脱敏12. 动态脱敏、特权管理、安全审计、运维审计13. 安全评估、保密协议、数据脱敏、加密传输14. 数据分类分级、文件加密、数据防泄漏、远程办公安全4.敏感数据的分类分级识别与打标敏感数据的分类分级识别，不同企业做法有所不同。规模比较小的企业通过人工盘点的方式也能将基本数据识别完整。但大企业的数据量级很大，而且总是随着业务的变化持续在变，敏感数据的分类分级识别如果仅使用人工盘点的方式，目标不易实现。建立一套自动化数据识别与打标的能力显得尤为重要。图表 2 数据分类分级打标及应用流程4.1 建立敏感数据规则库敏感数据规则库的建立是自动化识别的基础能力，规则库采用的技术包括关键字、正则表达式、基于文件属性识别、基于元数据信息的自定义识别、机器学习等。例如：银行卡号、证件号、手机号，有明确的规则，可以根据正则表达式和算法匹配。姓名、特殊字段，没有明确信息，可能是任意字符串，可以通过配置关键字来进行匹配。营业执照、地址、图片等，没有明确规则，可以通过自然语言算法来识别，使用开源算法库。4.2 数据扫描、识别与密级打标通过对结构化/半结构化/非结构化数据扫描，自动发现敏感数据的类别、级别等属性信息及存储位置，形成数据资产图。自动化识别并打标的数据，按需进行人工的复核，以确定数据的密级。密级需要支持人工修改，通过流程控制密级的变更。更重要的是，数据的密级标签要同步到元数据、数据产品等，实现对密级的应用。当然，数据分类分级只是数据安全工作中基础的环节，真正要做好数据安全管理，需要建立相对完整的安全管理与技术体系，才能有效落实数据的分类分级策略，保障数据的安全与合规。5.数据分类分级保障措施及相关建议数据分类分级是数据安全治理和数据管理的主要措施，是数据的安全合规使用的基础。数据分类分级不仅能够确保具有较低信任级别的用户无法访问敏感数据以保护重要的数据资产，也能够避免对不重要的数据采取不必要的安全措施。人、安全体系、技术这三方面是数据安全治理三个方面：数据安全治理蓝图数据分类分级建设思路5.1 数据分类分级保障条件-组织架构数据分类分级工作的开展应具备组织保障，设立并明确有关部门（或组织）及其职责。决策层：决策层负责制定企业数据战略、审批或授权，全面协调、指导和推进企业的数据分类分级工作。数据分类分级工作的领导组织及其负责人，主要负责数据分类分级相关审批、决策等工作；管理层：决策层主要负责建立企业数据分类分级的完整体系，制定实施计划，统筹资源配置、建立数据分类分级常态化控制机制，组织评估数据分类分级工作的有效性和执行情况，制定并实施问责和激励机制。数据分类分级工作的管理部门（或组织）及其负责人，主要负责数据分类分级相关工作的组织、协调、管理、审核、评审等工作；执行层：执行层在管理层的统筹安排下，根据数据分类分级相关制度规范的要求，具体执行各项工作。负责数据分类分级体系建设和运行机制，根据数据分类分级各职能域的管理要求承担具体工作。信息科技部门及其负责人，主要负责落实数据分类分级有关要求，并主导数据分类分级实施工作。各业务部门是数据分类分级执行工作的责任主体，负责本业务领域的数据分类分级执行工作，管控业务数据源。确保数据被准确记录和及时维护，落实数据分类分级管控机制，执行监管数据相关工作。各业务部门及其负责人负责落实数据分类分级有关要求，并协同开展数据分类分级实施工作。5.2 数据分类分级保障条件-制度规范1）数据分类分级工作的开展应具备制度保障，企业应建立数据分类分级工作的相关制度，明确并落实相关工作要求，包括但不限于：2）数据分类分级的目标和原则；3）数据分类分级工作涉及的角色、部门及相关职责；4）数据分类分级的方法和具体要求；5）数据分类分级的日常管理流程和操作规程，以及分类分级结果的确定、评审、批准、发布和变更机制；6）数据分类分级管理相关绩效考评和评价机制；7）数据分类分级结果的发布、备案和管理的相关规定。5.3 相关建议1）站在集团层面做数据分类及下属企业两个层面；2）不求大而全，实用为主。主数据、指标数据分类做实；3）能在不同企业推广。物料、设备、指标框架等；4）满足一个集团在不同层级人员的共享需求；5）尽量多一些有影响力的成员单位加入团标。（本文内容来源数据安全推进计划、极盾科技、数据工匠俱乐部等，数据学堂整理编辑）
查看详情
20图学懂从0到1搭建企业级数据治理体系
如何构建企业数据治理体系？企业数据治理过程需要注意哪些问题？总体而言，不能一口一个胖子，路要一步一步地走。好的数据治理体系可以盘活整条数据链路，最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。下面笔者结合企业级数据治理经验，详细介绍从0到1搭建数据治理体系全流程，帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。如有遗漏之处，欢迎评论区探讨。一、数据治理到底是在做什么？数据治理的核心工作：在企业的数据建设进程中，保障企业的数据资产得到正确有效地管理。整个过程，如图所示。我们先做一些类似数据同步的工作将数据放入到大数据系统中数据进来后需要管理和存储，即参考建模理论和实际场景建设数仓经过主题规划、维度确定、标签计算输出等步骤处理数据输出到报表、应用端使用整体流程数据治理体系将全程监管。要确认进出系统的数据质量怎么样？是否可转化数据资产？数据血缘是否可追溯、数据安全等问题。二、为什么要做数据治理有一些企业对这个问题的概念很模糊，认为目前的数据规模很小，人为可控，暂时不需要做数据治理。但是在实际使用中还是会遇到很多问题：数据监管力度不够，出现脏数据数据体系逐渐规模变大，管理混乱数据的血缘丢失，无法回溯旧、老的数据无论企业的数据规模如何，笔者认为还是提起做好数据治理的规划。考虑到成本的问题，可以分阶段进行。有剑在手不用和无剑可用是两回事。提前做好数据治理规划，会节省后续的改造成本，避免过程冗余重构或者推倒重来等情况的发生。数据治理可以有效保障数据建设过程在一个合理高效的监管体系下进行，最终提供高质量、安全、流程可追溯的业务数据。三、数据治理体系企业数据治理体系包括数据质量管理、元数据管理、主数据管理、数据资产管理、数据安全及数据标准等内容。1）数据质量一般采用业内常用的标准来衡量数据质量的好坏：完整性、准确性、一致性和及时性。完整性：数据的记录和信息是否完整，是否存在缺失情况准确性：数据汇总记录的信息和数据是否准确，是否存在异常或者错误一致性：多个业务数仓间的公共数据，必须在各个数据仓库中保持一致及时性：数据能及时产出和预警2）元数据管理元数据是关于数据的组织、数据域及其关系的信息，通俗理解，元数据就是描述数据的数据。元数据包含技术元数据、操作元数据和业务元数据。可以帮助数据分析人员清楚了解企业拥有什么数据，它们存储在哪里，如何抽取、清理、维护z这类数据，也即数据血缘。帮助构建业务知识体系，确立数据业务含义可解释性提升数据整合和溯源能力，血缘关系可维护建立数据质量稽核体系，分类管理监控3）主数据管理企业主数据指企业内一致并共享的业务主体，大白话理解就是各专业公司和业务系统间共享的数据。常见的主数据比如公司的员工、客户数据、机构信息、供应商信息等。这些数据具有权威性和全局性，可归约至公司的企业资产。一般主数据管理需要遵循如下几点：管理和监管各组织机构、子公司、部门对主数据的访问，制定访问规范和管理原则定期进行主数据评估，判断既定目标的完善程度组织相关人员和机构，统一完善主数据建设提供技术和业务流程支持，全集团集中统筹4）数据资产管理一般企业在数字化转型时都会考虑数据资产梳理。你的数据有没有被合理利用？如何产生最大价值？这是数据资产管理关心的核心工作。在构建企业资产时一般会考虑不同角度，即业务角度和技术角度，最后进行合并，输出统一的数据资产分析，并向外提供统一的数据资产查询服务。如何盘活数据，形成数据资产，提供完整的数据资产全景视图，可方便运营者全局、宏观地掌控企业资产动态。5）数据安全数据安全是企业数据建设必不可少的一环，我们的数据都存储在大大小小的磁盘中，对外提供不同程度的查询和计算服务。需要定时对数据进行核查、敏感字段加密、访问权限控制，确保数据能够被安全地使用。6）数据标准企业需要在组织内定义一套关于数据的规范，保障所有人员对数据的理解一致。今天张三说这个客户号是办理银行卡的客户，明天李四又说是借贷过的客户。对比一看，两者的字段类型和长度一致，到底要采纳哪个意见呢？数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束，通过统一规范，消除二义性。四、企业数据治理实施过程1、数据治理实施框架数据治理体系是为了规范业务数据规范、数据标准、数据质量和数据安全中的各类管理任务活动而建立的组织、流程与工具。通过一个常态化的数据治理组织，建立数据集中管理长效机制，规范数据管控流程，提升数据质量，促进数据标准一致，保障数据共享与使用安全，从而提高企业运营效率和管理水平。2、数据治理组织架构企业数据治理体系除了在技术方面的实施架构，还需要管理方面的组织架构支撑。一般在数据治理建设初期，集团会先成立数据治理管理委员会。从上至下由决策层、管理层、执行层构成。决策层决策、管理层制定方案、执行层实施。层级管理、统一协调。1）组织架构①决策层提供数据标准管理的决策职能，通俗理解即拍板定方案。②管理层审议数据标准管理相关制度对跨部门难的数据标准管理争议事项进行讨论并决策管理重大数据标准事项，提交信息科技管理委员会审议③执行层业务部门：负责业务线数据标准的制定、修改、复审，推广落实数据标准等科技开发：承担治理平台、数据标准、数据质量等实施工作；系统设计和开发工作中遵循数据标准科技运营：负责技术标准的制定和技术推广2）管理层职责①项目经理确定项目目标、范围和计划制定项目里程碑管理跨项目协同②专家评审组评审项目方案，确定方案的合理性③PMO确保项目按计划执行管理项目重大风险执行跨项目协同、沟通组织项目关键评审④数据治理专项组执行各项目的落地实施和运营推广，推动执行层的实施数据治理技术落地和项目进展。3）执行层职责数据架构师、数据治理专家和业务专员形成数据治理"铁三角”，紧密协作，推进数据治理与数据架构落地。①业务专员业务专员作为业务部门数据治理的接口人，在标准、质量、应用等领域组织业务人员开展工作定义数据规则保障数据质量提出数据需求②数据治理专家数据治理专家作为数据治理组成员，负责设计数据架构，运营数据资产；牵头组织业务、IT达成数据治理目标。构建数据逻辑模型监控数据质量运营数据资产③数据架构师数据架构师作为IT开发部门的专家，承担数据标准落地、模型落地的重任，协助解决数据质量问题。数据标准落地逻辑模型落地物理模型落地3、数据治理平台在确定了技术实施方案和组织管理架构，下面需要进行数据治理体系的落地实施。在大型企业中一般会开发一个完整的数据治理平台，囊括所有数据治理功能，对外提供平台服务。1）核心功能数据治理平台作为数据治理的产品体系，旨在保障数据平台的数据是安全、可靠的、标准的、有价值的。数据资产管理：提供面向用户的场景化搜索，提供全景数据资产地图，方便快速查找资产和资产分析数据标准管理：统一定制数据标准，提高包括字段、码值、数据字典管理，保障业务数据和中台数据的统一标准数据质量监控：提供事前、事中、事后的数据质量体系，支持数据质量监控规则配置、告警管理等功能数据安全：提供数据安全脱敏、安全分级和监控数据建模中心：统一建模，提供业务系统建模和模型管理2）元数据管理元数据管理系统作为数据治理平台的前端展示门户，帮助实现对数据资产的快速检索能力，提高数据使用有效性和效率。通过建立完整且一致的元数据管理策略，提供集中、统一、规范的元数据信息访问、查询和调用功能。3）数据质量数据质量监控：支持所有用户进行数据质量监控规则配置规则阻断：配置数据质量监控阻断规则，数据质量出现差异可实时阻断下游作业运行，屏蔽错误结果链路扩散告警：数据质量出现预设偏差，及时发出预警通知及时修复4）数据标准支持定制统一的数据标准平台，包括字段标准管理，码值标准管理以及字典管理，业务源数据和中台数据统一标准。5）数据安全基于集团数据资产实现数据安全分级管理，自动识别安全信息；提供数据访问安全行为监测，及时识别访问风险。4、数据治理评估数据治理平台开发完成并运行，需要对整体数据治理体系的效果进行验证和评估。数据是否可以消除“脏、乱、差”的现象数据资产是否最大价值化所有数据的血缘是否完整可追溯1）数据资产通过构建数据资产管理体系，实现资产全覆盖，并支持全局搜索和精准定位目标资产。实现全局搜索，面向用户提供场景化检索服务支持标签、数据地图、表名和字段名等多种检索维度支持进行数据地图，源业务数据字典的结果筛选比如支持PV/UV用户搜索和资产展示，明确服务目标2）数据标准新旧数据标准沉淀，打通了数据建模工具、数据标准库和词根标准库，落地数据标准和词根。实现数据标准库100%拉通智能识别数据标准和引用客户端同步更新数据标准、词根3）数据安全保持事前制度建设、事中技术管控、事后监控审计的原则建立全流程数据安全管控体系。基于以上数据安全管控体系，支持数据安全定级，构建灵活的数据安全共享流程。4）数据质量通过数据质量雷达图，定期进行数据和任务质量打分，综合考察数据质量效果。数据完整性：查看数据项信息是否全面、完整无缺失告警响应程度：日常管理、应急响应、降低影响；避免数据损毁和丢失监控覆盖程度：确保数据遵循统一的数据标准和规范要求作业稳定性：监控作业稳定性，是否存在作业异常等问题作业时效性：检查任务对应的数据项信息获取是否满足预期要求五、数据治理的误区1、数据治理是否要做得大而全这是一个经典问题，一般对于不同阶段和规模的企业，数据治理的实施程度会有所不同。一般建议先根据自身的数据状况分阶段进行，避免盲目铺开规模，过程中可调整。2、数据治理只是技术考虑的事情正如文中所说，数据治理不仅仅是技术团队的事情，而是整个集团一起协作完成。其中就包括各业务线以及其他管理组织，没有一个好的实施方案和协作机制，往往事倍功半。3、数据治理可以短期见效数据治理是个长期过程，会跟随着企业数据的规模和数仓规划的变更同步调整，部分功能可能会在短期内卓有成效，完整体系搭建短期很难实现。4、必须得有工具平台，才能开展数据治理俗话说工欲善其事必先利其器，有好的工具当然是更好，前提是已经有了成熟的数据治理体系规划和策略。工具和技术手段目前市面上很成熟，先把理论给铺垫好。5、数据治理感觉很模糊？不知道最后的落地结果数据治理是一个长期工作，需要相关从业者根据企业的数据现状和管理模式去构建和调整，建议边做实践边总结归纳，小步慢跑是一个很好的方式。注：本文转自“大鱼的数据人生”，侵删，如需转载请联系原作者！
查看详情
24张架构图讲透数据治理核心内容
一、数据治理的框架和核心内容不同的利益相关者群体对数据治理的关注点不一样，因此各自的视图也不一样。其中管理者视图可以概括为“五域模型”，分别是“管控域”、“过程域”、“治理域”、“技术域”、“价值域”。图1、管理者视角-数据治理五域模型管控域：在数据治理战略指导下制订企业数据治理组织，明确组织的责、权、利，岗位编制及技能要求。治理域：是数据治理的主体，明确数据治理的对象和目标。技术域：数据治理的支撑手段，指的工具平台。过程域：是数据治理的方法论。价值域：通过对数据资产的管控挖掘数据资产的价值，并通过数据的流动、共享、交易变现数据资产。图2、技术视角：企业大数据治理实践指南框架数据治理体系，包括数据战略、数据治理管控体系（数据治理组织、制度、流程、管控机制、绩效体系及标准体系）、数据架构、主数据、元数据、指标数据、时序数据、数据质量、数据安全、数据集成与交换、数据开放和共享、数据资产管理能力成熟度评估以及数据价值、数据共享、数据变现等多方面。图3、数据治理车轮图接下来从数据战略、数据管控（组织管理、制度体系、流程管理及绩效）、三个核心体系（数据标准体系、数据质量体系、数据安全体系）和工具等分别进行介绍。图4、企业数据管控和三个核心体系1、数据战略数据战略是整个数据治理体系的首要任务，关注整个组织数据战略的规划，愿景和落地实施，为组织数据管理、应用工作的开展提供战略保障，应由数据治理组织中的决策层制定，需要指明数据治理的方向，包括数据治理的方针、政策等。图5、数据治理顶层规划设计方法论正确的顶层设计是企业家对未来形势的正确判断，对机会和战略，治理与架构，资本和模式，供应链和数字化，品牌和营销，产品和客户等整体一盘棋的布局。如果说商战就是没有硝烟的战争，那么顶层设计则是整体战的部署。2、组织管理组织保障是数据治理成功的关键。组织建设一般包括组织架构设计、部门职责、人员编制、岗位职责及能力要求、绩效管理等内容。数据治理是一项需要企业通力协作的工作，而有效的组织架构是企业数据治理能够成功的有力保障。为达到数据战略目标，非常有必要建立体系化的组织架构，明确职责分工。图6、某集团数据治理组织架构设置范例图7、某央企数据治理组织架构设置范例3、制度体系保障组织架构正常运转和数据治理各项工作的有序实施，需要建立一套涵盖不同管理粒度、不同适用对象，异覆盖数据治理过程的管理制度体系，从“法理”层面保障数据治理工作有据、可行、可控。图8、数据治理制度框架企业的数据治理制度通常根据企业的IT制度的总体框架和指导原则制定，往往包含数据质量管理、数据标准管理、数据安全管理等制度，以及元数据管理、主数据管理、数据指标管理等办法及若干指导手册。图9、数据治理制度框架体系图10、数据资产管理规定目录4、流程管理制定数据治理的流程框架也是数据治理的重要工作。数据治理流程包括从数据的生产、存储、处理、使用、共享、销毁全生命周期过程中所遵循的活动步骤，以及元数据管理、主数据管理、数据指标管理等流程。图11、数据治理流程框架体系5、绩效管理数据治理考核是保障数据治理制度落实的根本，通过系统的方法、原理来评定和测量企业员工在一段时间内数据治理相关的工作行为和工作效果，进一步激发员工的积极性和创造性，提供员工的数据治理责任心和基本素质。图12、数据治理绩效体系6、标准体系数据标准是实现数据标准化、规范化的前提，是保证数据质量的必要条件。数据标准一般分为元数据标准、主数据标准、数据指标标准、数据分类标准、数据编码标准、数据集成标准等内容。图13、数据标准化体系7、质量体系数据质量管理是对数据的分析、监控、评估和改进的过程。包括规划和实施质量管理技术，以测量、评估和提高数据在组织内的适用性，提高数据对业务和管理的满足度。重点关注数据质量需求、数据质量检查、数据质量分析和数据质量提升的实现能力。图14、数据质量框架体系数据质量管理贯穿数据生命周期的全过程，除了明确数据质量管理的策略，还要善于使用数据质量管理的手段及工具，覆盖数据质量需求、数据探查、数据诊断、质量评估、质量提升等方面。8、安全体系数据安全管理是为了确保数据隐私和机密性得到维护，数据不被破坏。数据安全体系框架通过3个维度构建而成，包括政策法规、技术层面和安全组织人员。数据安全治理体系框架在符合政策法规及标准规范的同时，需要在技术上实现对数据的实时监管，并配合经过规范培训的安全组织人员，构成了数据安全治理整体架构的建设。图15、数据安全治理体系数据安全治理能力建设是一个覆盖数据全部生命周期和使用场景的数据安全体系，需要从决策到技术，从制度到工具，从组织架构到安全技术通盘考虑。图16、数据数据全部生命周期9、平台工具搭建一体化数据平台，满足前台应用准确性、快速性和多样性的数据需求，缩短研发周期、降低技术成本，将数据中心逐步由成本中心向资产中心转变，提升数据价值，实现五个打通：（1）横向打通：破除部门壁垒，横向跨专业间的分析挖掘融通；（2）纵向打通：内部多层级数据打通，形成统一资源目录。上下级数据共享交换；（3）内外打通：消除内外数据的鸿沟，实现内外部数据的关联分析；（4）管理打通：建立企业标准，实现统一管理统计口径；（5）服务打通：数据中台统一对外提供数据服务和应用构建，与业务系统和数据应用充分协同。图17、两体系两平台一服务的数据平台总体框架面向数据全生命周期，提供的一站式数据规划、集成、开发、治理、服务、应用等产品。图18、数据平台能力框架从数据接入整合能力、数据共享应用能力、数据综合管理能力、基础组件支撑能力四方面，全面建设数据能力，培育能力体系，以多类型大数据量的汇聚为基础，以统一模型为标准，为前端应用提供灵活的统一数据服务。图19、数据平台四大支撑能力数据治理需要多种数据治理工具软件的支撑，包括以主数据为核心的套装软件、以数据资产目录为核心的数据资源管理工具、以元数据和数据模型为核心的数据中台，此外还有时序数据、数据交换等。数据治理管理工具包括数据架构工具、元数据管理工具、数据指标管理工具、主数据管理工具、时序数据管理工具、数据交换与服务工具、质量管理工具和安全管理工具等。图20、数据治理工具集图21、以元数据治理为核心的数据治理工具主数据服务业务视图包括8个业务域、32个业务子域及相关业务活动，主数据管理工具是主数据全生命周期管理的平台，也是主数据标准、运维体系落地的重要保障。图22、以主数据治理为核心的数据治理工具主数据治理平台是企业数据规划、数据标准落地的载体，实现数据治理统一标准、统一规则的支撑。图23、主数据管理工具-逻辑架构二、人工智能是大数据治理核心方向“无治理、不分析”，没有高质量的数据，就不会有可信的AI。数据治理是人工智能基础，为人工智能提供高质量的数据输入。有了人工智能加持，数据治理将变得更加高效和智能。人工智能技术在数据采集、数据建模、元数据管理、主数据管理、数据标准、数据质量及数据安全等领域有着深入的应用。图24、人工智能技术在数据治理中的应用三、结束语数据治理的发展是伴随着不同行业对数据资源资产化、数据确权与合规、数据价值创造与共享、隐私保护的认识、研究和实践的一个演进过程，是一项繁杂、长期的工作，需要工匠精神、锲而不舍。注：本文转自源架构师修炼之道，侵删，如需转载请联系原作者！
查看详情
如何通过数据治理来提升业务价值——业务场景治理
数据治理，一方面是为了对数据的规范管理和控制，还有一方面是让数据能够为业务提供服务和创造价值。近些年来，随着数据治理技术发生着日新月异的变化，行业对数据治理的需求和指导也被逐步推进和实践，从宏观上看，数据治理的组织架构、规章制度、标准规范日趋完善，实现了数据规范化管理，但在支撑业务减本增效、支持业务创新等方面尚存距离。具体体现在以下几点：与业务过程脱节无法针对业务过程中的数据需求与痛点进行问题解决，导致治理的数据无法真正满足业务需要或带来价值。低治理效率没有在业务流程中嵌入数据质量管理等机制，无法发现并解决早期的数据问题，需要在业务运行过程中不断纠错和补救，效率低下业务过程指标缺失没有与业务场景密切结合的数据治理，无法为业务过程提供准确和及时的业务指标，无法实现数据驱动的业务管理数据安全隐患只专注企业横向的数据分类分级，而忽略考虑了纵向业务流程中的数据安全与授权要求，可能导致重要业务数据的泄露、篡改和滥用，或者过高的数据分级影响了业务流程的流畅性业务创新受限不结合业务场景去炫新技术、鼓吹大模型，没有高质量和标准化的数据支持，难以实现真正的业务创新与赋能，大数据、人工智能只是工具与手段而已。至此，数据治理进入了一个新的发展阶段，为了避免数据治理成为数据管理部门、IT部门的一厢情愿，而忽视业务部门的需求和参与，形成数据治理的怪圈，企事业机构的数据管理部门开始从宏观的数据治理框架和策略，转向具体的业务流程和场景的数据治理，以此为业务提供有效的数据支持和决策依据，增强业务的参与度和满意度。一、结合业务场景的数据治理业务参与到数据治理过程中，业务流程是一道绕不开的主题。业务流程是企业为实现特定目的而执行的一系列活动或任务。业务流程是企业运营的基础，也是数据产生和消费的场景。数字化、可视化业务流程，可以通过数据来更好提高业务问题识别度、专注业务问题实际解决，从而增强企业的竞争优势和客户满意度。企业的业务流程可以看作是数据的源头，数据都是在各种业务场景和业务流程中产生和使用的。如果脱离了业务流程，进行的数据治理就可能变成空中楼阁，无法产生真正的业务价值。因此，将数据治理融入到业务流程中，进行业务场景化的数据治理，就变得极为重要。下面以一个大家比较熟悉的保险行业业务来描述如何以业务场景进行数据治理作为例子。我们都买过保险产品，日常也体验过诸如车险、商业医疗险等这些日常险种服务，来年如果不续保、想更换保险公司的最大原因通常也都是对理赔服务不满意而导致，因此保险公司如何提高客户满意度、降低客户流失率，就可将保险理赔选作为数据治理的一个业务场景，定位业务问题与流程、联动各利益相关者制定数据方案。我想通过下面这张图来说明数据治理如何结合理赔业务场景来提升业务价值的。第一步：明确业务目标在选定业务场景的数据治理同时，首先须明确该场景的治理目标。通过客户满意度调查和客户流失数据分析，发现理赔业务中存在客户查询理赔进度困难、理赔流程自动化程度低等问题。因此，确定项目的业务目标是：改善理赔效率，提升客户满意度。第二步：分析业务问题，确定关键数据要素根据业务目标，识别出两个关键业务问题，分析这两个业务问题的根因，确定保单记录、理赔记录、代理商和客服中心的记录作为关键数据要素。这些数据要素关系到理赔进度跟踪和自动化流程执行。第三步：对数据要素按业务和技术维度梳理1）业务维度设置理赔时长、客户满意度、自动化程度为关键绩效指标（KPI）确定量化考核指标，如理赔时长减少5%，满意度达到4.5分等制定数据治理规则，如理赔政策一致性规则、数据质量规则2）技术维度明确关键数据要素的来源系统，如保单系统、理赔系统数据集或表单，如保单标头、理赔内容等信息项与属性，如理赔类型、理赔金额等第四步：建立规则与属性的关联将业务规则与技术属性关联，例如将理赔政策一致性规则与理赔类型属性关联。第五步：构建血缘关系通过关联保单系统和理赔系统中的数据要素，构建起端到端的血缘关系，包括业务血缘、数据血缘，应用血缘实现业务监控与行动。通过对理赔业务场景的数据治理，明确了业务目标，找到影响目标的关键问题，针对问题建立了数据KPI和数据核查规则，通过数据血缘、业务血缘的联动来跟踪和监控数据，提醒、督促利益相关者及时处理问题，最终实现了提升理赔效率和客户满意度的目标。这充分体现了业务场景数据治理的重要性。与脱离业务的数据治理相比，业务场景治理结合具体业务流程和问题，可以更好发挥数据治理的价值，解决实际业务痛点，而不是停留在一味的落标率、数据仓库质量达标率、血缘覆盖度等纯治理过程中。二、如何实现业务场景数据治理北京数语科技有限公司致力于做技术最先锋的数据治理厂商，如何将先进的数据治理技术与客户业务流程相结合，通过智能化和自动化创建数据治理业务场景，帮助企业快速落实业务流程的数据和规则，技术驱动的数据治理与业务流程结合，从而实现企业的数字化转型和价值增长。数据治理和业务流程之间存在着紧密的联系和相互影响。一方面，数据治理为业务流程提供了可靠、准确和及时的数据支持，帮助企业做出更好的决策和行动。另一方面，业务流程为数据治理提供了清晰的目标、需求和反馈，帮助企业优化数据的生命周期和价值。根据上述保险理赔的例子，通过将数据集、属性、数据标准、关键指标以及法规政策等元素融入业务流程，将人和行为活动关联起来，理解数据在其中的上下文，实现数据治理的业务场景化。如何通过技术进行业务场景治理落地呢？我将以下面三个步骤综合描述。第一步：创建数据治理业务场景数据治理业务场景是指将数据治理与业务流程相结合，形成一个完整的数据治理视角，包括业务流程、业务节点、业务数据、业务指标、业务规则、业务利益相关者等元素。创建数据治理业务场景的步骤如下：1）围绕业务场景构建数据治理基础平台：维护好数据标准、做好指标定义，逆向应用系统数据模型，对数据进行分类分级、开发数据质量检核与清洗规则、采集全面的元数据生成血缘。这些是数据治理的基础工作，为数据治理业务场景提供数据的规范性、完整性、准确性、可信性和可用性。2）创建关键业务流程：根据业务场景与业务方进行协作梳理核心业务流程，在画布中定义出关键业务节点形成业务流程。这些是业务场景治理的核心工作，为数据治理业务场景提供业务的流程性、连贯性、逻辑性和可视化。3）关联业务节点中的全方位元素：围绕业务流程智能、自动关联业务场景中的利益相关者、数据集等元素，自动形成人、事、物、活动于一体的数据治理业务场景。为数据治理业务场景提供业务的全面性、关联性、动态性和智能化。 第二步：配置数据治理目标与规则数据治理目标是指根据业务目标分解出业务问题，将问题落地成KPI与指标、规则，通过数据治理业务场景中的人和制度落实考核，设计考核标准、时限。配置数据治理目标与规则的步骤如下：1）明确业务目标：业务目标是数据治理的出发点和归宿，需要明确业务的期望和方向，如改善理赔效率、提升客户满意度。2）分解业务问题：业务问题是数据治理的驱动力和挑战，需要分解业务目标，找出影响业务目标的关键因素和障碍，如查询理赔进度困难、理赔流程自动化程度低。3）落地KPI与指标、规则：KPI与指标、规则是数据治理的衡量和执行，需要将业务问题具体化，定义出可量化和可执行的KPI与指标、规则。如理赔登记资料完整率、现场调查时长、审批时长、付款时长。4）设计考核标准、时限：考核标准、时限是数据治理的激励和约束，需要根据KPI与指标、规则，设计出合理和可达的考核标准、时限，如数据质量达标率、数据治理完成率、数据治理周期、数据治理奖惩等。三、驱动业务流程提升与改进业务流程提升与改进是指根据数据治理目标与规则，实时监控业务场景中设定KPI变化、分析业务指标趋势发展，对触碰设定的阀值预警，根据规则进行预案决策。驱动业务流程提升与改进的步骤如下： 1）实时监控KPI变化：KPI变化是数据治理的反馈和结果，需要实时监控业务场景中设定的KPI，如业务指标、数据质量、数据安全等，及时发现数据治理的效果和问题。2）分析业务指标趋势发展：业务指标趋势发展是数据治理的分析和预测，需要分析业务场景中的业务指标，如审批时长、赔付时长、客户满意度的现状和趋势。3）对触碰阀值预警：阀值预警是数据治理的告警和响应，需要对业务场景中触碰设定的阀值，如数据质量低于标准、数据安全出现风险、数据一致性出现差异、数据分析出现异常、数据应用出现问题等，及时发出预警和通知。4）根据规则进行预案决策：预案决策是数据治理的决策和改进，需要根据业务场景中的规则，如数据质量修复、数据安全处理、数据一致性协调、数据分析优化、数据应用改进、紧急业务行动等，采取相应的措施和方案，提升和改进业务流程。三、业务场景数据治理提升业务价值通过上述保险业案例，我们可以理解业务场景数据治理的核心思想是将数据治理的目标、原则、流程、标准、指标、工具和组织等要素与业务场景相结合，形成一套完整的数据治理体系，从而实现数据治理的有效性和高效性。业务场景数据治理是一种以业务目标为导向，以业务流程为切入点，以数据为支撑的数据治理方法，它能够更好地满足业务的多样化和动态化的需求，实现数据和业务的协同和共赢。业务场景数据治理的优势在于，它能够更贴近业务的实际需求和场景，更灵活地应对业务的变化和发展，更有效地解决数据治理的难点和痛点，更有利于提升数据治理的成熟度和水平，从而为业务流程提供更有价值的数据支持，帮助企业实现业务的创新和优化，提升业务的效率和效益，增强业务的竞争力和可持续性。总之，业务场景数据治理是一种符合数据治理的本质和目标的数据治理方法，它能够实现数据治理和业务流程的有机结合，为企业提供更高质量、更安全合规、更具价值的数据，从而为企业的发展和转型提供强大的数据动力和保障。
查看详情
数据指标的华丽蜕变：治理之路
指标类文章在朋友圈和公众号中隔三差五就能阅读到，说明此类文章颇受广大群众欢迎。同时，这也意味着企业指标管理尤为重要。作为数据指标的产品经理，我也一直默默关注同行的分享。今天，我想从指标治理角度来分享一些我的看法。指标建设通常相对容易，但确保指标的长期良好运营、保持其新鲜度、规范性、高质量和安全性，却是指标管理上的难题。那么，数据治理部门对数据指标有哪些主要工作要点呢？以下几点最受瞩目：⦁ 统一数据指标的定义和管理流程：确保不同团队和部门对指标的理解一致，避免混淆和误解。⦁ 保证数据指标的质量与安全可管、可控：建立数据质量评估机制，监控数据指标的准确性、完整性和一致性。同时，确保数据的安全性，防止数据泄露和滥用。⦁ 更好地为企业更多用户赋能：指标不仅仅是数据分析人员的工具，还应该为企业的各个层级和角色提供有用的信息。数据治理部门需要积极推动指标的广泛应用，让更多人受益。为了给数据治理的同仁们提供更好的数据指标全生命周期治理服务，我将详细阐述以下几个方面：需求规范化管理：指标的需求应该明确、具体，并且能够满足不同用户的需求。规范化管理可以帮助确保指标的一致性和有效性。指标标准定义：明确每个指标的定义、计算方法和数据来源，避免歧义和混淆。打通数据链路：指标的数据来源可能分散在不同系统和数据库中，数据治理部门需要协调各方打通元数据各堵点，梳理数据从源头到目标指标生成的全流程路径。保障指标质量：建立数据质量评估机制，监控指标的数据质量，及时发现和解决问题。确保安全合规：数据指标涉及敏感信息，需要确保数据的安全性和合规性。最大化应用价值：指标不仅仅是数据的展示，还应该为企业决策提供有力支持。数据治理部门需要积极推动指标的应用，让其发挥最大的价值。一、指标需求规范化——确保源头权威在公众号发表的指标文章中，都提到了一个业务痛点是“同名不同义、同义不同名”。这种现象的一个重要原因是脱离需求评审管理、多处随意定义和随意创建所致。数据指标质量的根源在于对需求的准确理解和描述，因此，统一规范的指标需求管理，是指标全生命周期治理的基石，下面我们一起来分析指标需求现状及如何做好指标需求管理。现状分析随着企业数字化转型的推进，各类业务指标需求的频率和复杂程度与日俱增。但由于缺乏统一的需求语言和流程，企业里普遍存在需求表述不一、流程效率低下、冗余和重复等现象，这些问题的根源在于没有规范的需求管理。为了确保需求能够得到有效执行，企业推行需求规范化过程中通常会面临以下主要挑战：1) 业务人员需求习惯根深蒂固业务人员长期习惯了自由表述需求的方式，改变这一习惯存在很大的惯性。2) 跨系统需求协同沟通的成本高 不同职能系统之间的协作沟通成本较高，容易导致规范在系统之间存在分歧和偏差。3) 缺乏规范执行的问责和激励机制仅依赖体系很难有效执行，需要制度的支撑。需求规范指标需求规范化主要包括以下三个核心要素：1) 需求字段标准化针对需求的描述要素制定统一规范，包括指标名称、指标描述、计算公式、维度描述、使用场景等。采用统一的字段设计，避免歧义表述。2) 需求内容规范化针对不同类型需求的内容要素，制定统一的规范模板，如数据开发需求、指标衍生需求、定期调度需求等。确保需求内容的完整性和规范性。3) 需求流程标准化制定统一的需求处理流程，包括需求受理、评估审核（业务与技术参与）、优先级排序、分派实施、验收发布等环节，并结合IT系统进行流程化管理。二、指标定义标准化——确保质量一致指标定义的标准化是指标治理的基础，正如企业数据标准体系梳理一样，能够为企业构建一个通用、高质量的指标体系，避免重复建设和定义分歧，提升数据指标的可复用性和一致性。然而，在传统的数据治理模式下，往往缺乏统一的指标定义标准。现状分析1) 指标定义存在认知分歧不同业务团队或IT团队对同一指标存在不同的定义方式，导致指标的计算结果不一致。2) 指标定义质量参差不齐缺乏规范指导，指标定义的完整性、准确性和可用性无法保证。3) 指标定义的冗余和重复建设由于无法高效复用已有指标，导致大量重复劳动和资源浪费。 4) 新兴业务领域缺乏指标参考 对于新兴业务，缺少成熟的指标定义模型供参考。这些问题导致企业无法将指标视为一种可复用的标准化数据资产，从而难以充分释放数据的价值。指标定义为了提高指标定义的质量和一致性，标准化需要着力于以下几个核心要素：1) 基本属性定义标准保证指标的定义来自于需求，包括指标名称、编码、描述、维度、度量、归属主题域等基本属性的统一定义规范。2) 计算逻辑定义标准 明确计算公式、SQL/脚本逻辑、汇总粒度、时间属性等计算逻辑，以确保指标计算的规范表达。3) 分类定义标准设计统一的分类体系，方便对不同维度/度量的指标进行分门别类的治理。4) 生命周期规范 指标定义应紧密与需求管理相结合，包括设计、审核、发布、变更、废弃等全生命周期各环节的标准流程和规范。5) 质量控制标准制定评估和控制指标定义质量的标准，包括完整性、一致性、规范性等维度。通过综合运用这些标准化要素，企业可以构建一个内涵丰富且质量可控的标准化指标定义体系。三、指标元数据管理 —— 打通数据链路指标元数据是指关于数据指标本身的描述性信息，包括但不限于指标定义、计算逻辑、数据来源、更新频率、业务含义、业务场景以及关系等。通过对这些元数据进行系统化、结构化的管理和维护，可以确保组织内部所有利益相关者对关键业务指标有共同且准确的理解。在打通数据链路的过程中，指标元数据管理首先能够清晰地揭示数据从源头到目标指标生成的全流程路径，即所谓的“数据血缘”。现状分析结合我们对企业指标元数据的一些调研，总结有如下现象：1) 现有系统缺乏标准元数据接口企业若没有系统性地构建指标管理体系，业务指标往往会分散在各处（包括老旧IT系统、甚至存在一些文件当中），以至于无法直接获取标准化元数据，采集成本较高。2) 元数据质量问题困扰传统的元数据管理散乱，现有元数据质量问题严重，给集中治理带来挑战。 3) 跨系统元数据融合的复杂性 不同系统的元模型差异较大，数据融合面临技术挑战。总结来说，指标元数据管理对于打通并优化数据链路而言，不仅是技术层面的架构设计，更是推动企业数据文化形成和数据驱动战略实施的关键要素。打通链路要实现指标的元数据管理以打通数据链路，首先需要建立一套全面而规范的元数据管理体系。这一体系应涵盖从数据采集、处理、整合到最终形成业务指标的全过程，对每一环节涉及的元数据进行统一管理和维护，确保数据生命周期的全程可见与可控。1) 建立指标元数据业务场景应用体系设计指标元数据链路应用场景，将指标的定义、计算逻辑、场景所涉等完整信息得以记录、跟踪、采集。2) 实现指标资产化将指标转化为可复用的资产，支持跨系统、跨项目的共享和引用。 3) 打通上下游链路上游数据资产与下游应用之间的链路得以贯通，支持影响分析。4）主动元数据捕获与更新采用工具和技术手段自动捕获和更新指标元数据，减少人工干预带来的错误风险，同时确保元数据时效性和准确性。总之，通过对数据指标元数据进行精细化、智能化的管理，我们能够建立起透明、可靠的数据链路，为组织提供高质量、高可用的数据基础，进而支撑高效的数据驱动决策和业务运营。四、指标质量监控—— 保障数据资产价值在数据治理中，指标质量监控是保障数据资产价值的关键环节。有效的指标质量监控可以保证数据的完整性、一致性、准确性和可靠性。这涉及定期检查数据的来源、采集方法、处理过程以及验证指标的计算逻辑。及时发现和纠正数据错误、缺失或异常，有助于提高数据的可信度和可用度。现状分析然而，在传统的指标管理模式下，由于缺乏系统性质量监控，常常面临以下挑战：1) 质量问题无法防患于未然缺乏质量预警机制，质量隐患无法提前发现和纠正。2) 质量问题反馈效率低下质量问题被动暴露，反馈链路冗长，响应效率低下。3) 质量问题修复效果无法持续跟踪缺乏闭环管理，修复后无法持续验证，容易复发。4) 质量责任无法可视化问责缺乏质量度量体系，责任主体无法准确问责。这些问题不仅影响数据指标的可靠性与信任度，还直接导致了大量的质量成本支出和价值损失。因此，建立系统的质量监控体系至关重要。质量管理以下是构建指标质量监控体系的关键要素：1) 质量规则库构建涵盖不同质量维度的规则库，如完整性、准确性、及时性等。2) 自动化检测机制通过工具或平台，实现质量规则的自动化执行和检测。3) 风险分级预警根据问题严重程度，设置风险分级预警机制，提示关注。4) 主动监控触发支持定期全量扫描和按需主动触发，以及基于事件驱动的监控。5) 质量度量体系建立指标质量量化评分体系，实现可视化展示和追踪。6) 反馈闭环管理形成问题清单反馈、责任分派、修复跟踪、验证闭环的管理机制。这些要素环环相扣，构成一个完整的质量监控体系，贯穿预防、发现、反馈、管控和持续优化全过程。质量监控是一项持续改进的过程，需要持之以恒地投入。除了前面提到的规则库、检测平台等基础设施，更重要的是形成一种质量文化。一方面要通过制度机制和绩效挂钩，形成合规的内生动力；另一方面也要从外部施加压力，将质量监控理念贯穿于指标需求、设计、开发、测试各个环节，形成全面质量管理的闭环。只有从根本上重视质量，将质量思维内化于业务生命周期，才能真正保障数据指标价值，赢得业务信任与支持。五、指标权限管理 —— 确保数据安全合规通过合理的指标权限管理，我们可以明确不同角色和用户对数据指标的访问权限，从而避免数据的未授权访问和滥用。这有助于保护关键指标的敏感性。同时，指标权限管理还应与相关法规和行业标准保持一致，确保企业的数据处理活动符合法律要求。建立完善的审计和监控机制，追踪和审查指标的使用情况，及时发现并处理潜在的安全风险和违规行为。现状分析数据权限管控关乎企业指标的安全可靠。然而，在传统的管理模式下，由于缺乏系统的权限管控，常常面临以下风险：1) 数据权限管理混乱指标权限管理过于粗放，缺乏统一的标准和机制。2) 数据被滥用和泄露缺乏有效审计机制，导致数据权限的授权和使用无法得到有效管控。 3) 数据应用效率低下权限分散管理，数据的复用和共享受限。4) 缺乏合规性保障 无法有效满足监管合规要求，面临合规风险。安全合规上述问题不仅影响数据指标的安全保护，也直接制约了数据的应用价值释放。建立统一的权限管控体系，是解决这一问题的根本之策。具体而言，指标权限管控包括以下几个核心要素：1) 权限模型设计基于职责分工和数据分类，我们可以对指标预览、管理、授权、预警等相关权限进行统一配置，从而设计出一个合理的权限模型。2) 权限分级分域按照数据安全级别和业务领域，划分不同的权限级别和分域。3) 统一认证和授权 基于权限模型，实现统一身份认证和规则化授权。 4) 权限生命周期管控包括审批流程、变更跟踪、过期回收等全生命周期管控。5) 权限审计监控建立系统化审计机制，跟踪权限分配和使用情况，形成审计报告。6) 权限分析服务支持用户权限查询、应用权限查询等分析服务。以上要素构成了一个完整、规范的权限管控体系，贯穿权限设计、分配、使用、审计和维护全流程。重点梳理关键指标的权限合规审计要求，将合规理念贯穿始终。五、指标应用服务 —— 最大化数据资产价值经过前面章节的规范化实践，我们已经为指标治理奠定了坚实的基础，并从需求、定义、开发、链路、质量、权限等多个维度对指标全生命周期进行了全方位管控，显然，我们不能为了管控而管控，输出价值才是核心。然而，数据治理的价值往往很难被明确定义和衡量，这恰是本章要重点探讨的内容：如何最大化释放指标数据资产的应用价值。现状分析数据资产的核心价值在于被广泛复用和应用。在传统的管理模式下，由于缺乏复用机制和应用服务能力，通过与数据治理同仁一些调研和讨论得知在企业中常常存在以下现象：1) 指标缺乏可复用性缺乏指标元数据管理，无法实现指标跨系统、跨领域复用。2) 指标应用效率低下缺乏标准化接口和服务能力，指标应用需求响应效率低下。3) 指标使用体验差终端应用无法自动获取指标元数据，指标内涵无法直观感知。4) 冗余重复建设严重 由于复用成本高，重复建设同类指标导致资源浪费严重。这些问题严重制约了指标数据资产的价值释放。通过构建指标复用和应用服务体系，可以从根本上解决上述难题。应用赋能：以下是构建指标复用和应用服务体系的关键要素：1) 指标查询服务为内外部系统提供标准化的指标查询接口和API服务。2) 指标计算引擎基于查询服务，提供指标实时或离线计算执行能力。3) 指标影响分析分析指标上下游的关联依赖关系，评估变更影响。将指标应用到具体业务流程和业务场景中，结合业务KPI分析指标的趋势变化和业务影响。4) 指标目录服务展现企业级指标资产目录，支持检索、浏览和订阅。5) 指标可视化插件集成到报表工具等应用系统中。使报表用户能够即时列举、解释报表中指标，向指标所有者提出问题，并根据指标血缘分析理解指标的加工过程。6) 指标知识库服务基于知识图谱，提供指标语义理解和智能问答服务。7) 指标市场化运营建立指标开放复用的标准定价、交付和计费体系。8) 指标复用质量监控复用指标指导数据模型设计与开发，监控指标复用质量和复用程度等核心指标。以上能力无论是支撑内部应用，还是对外赋能生态，最大限度地拓展指标资产的应用边界和价值空间。总之，构建指标资产的复用和应用服务体系是数据治理现代化的最高阶目标。它不仅需要完备的技术支撑，更重要的是要从战略层面重塑运营模式，以服务思维驱动组织变革。
查看详情
EDW国际数据管理最新趋势（二）｜信息供应链与数据产品
最近Data Fabric、Data Mesh、DataOps等话题非常火。其实，信息供应链谈的也是同样的东西，那就是如何将数据治理与数据集成整合在一起的解决方案。下图虽然简单但涵盖了非常大的信息量。将4A架构进行了拆解，应用架构与技术架构主要是支撑业务，业务架构与数据架构驱动企业进行数字化变革，在这个过程中靠数据架构打通数据与业务。下面讲述如何设计一个数据产品。类似敏捷开发的Use Case设计，数据产品的设计也可以用一张画布来展示，包括数据产品的输入、输出接口设计，元数据设计，使用场景设计等。接下来是一个具体的数据产品的画布例子。《设备错误修复》这样一个数据产品，输入是IoT数据，通过过滤与加工，捕获异常数据，并进行修复。回到信息供应链，从经典的Bill Inmon数仓体系，从贴源层到数仓到数据集市也在逐步升级，越来越多数仓模型采用更为灵活的Data Vault模型。数据集市变化更大，除了传统的维度模型支撑BI报表和数据可视化，也输出面向数据挖掘平台的数据资产目录，面向AI的知识图谱，面向SOA的流式数据输出等。 最后我们看一下信息供应链全景图第一：数据产品的设计，包括数据产品业务需求（Use Case）设计和数据模型设计（业务逻辑模型）第二：从数据生产到数据消息，中间分为三层：贴源层、中间层Data Vault、信息访问层（多种形态） 总结一下，信息供应链的核心是数据产品，数据产品的核心是设计（业务需求与数据模型）。
查看详情
