
新书发布|《数据血缘:理论与业务实践》导读
在数据量不断增长和数据生态系统复杂的时代,了解数据的起源、转换和流动变得至关重要。能够追踪数据从源头到目的地,包括它经过的各种流程和系统,对于确保数据质量、合规性和决策至关重要。这种信息称为数据血缘。数据血缘能够回答 “这些数据从何而来到哪里去?”这样的哲学问题,也能回答“数据是如何加工转换的?”这样的技术问题,可以深入了解数据资产的可靠性、可信度。数据血缘始终是企业最重要的数据资产信息之一。而且在未来充当更加重要的角色。完整的数据血缘信息可以有效跟踪敏感数据的全链路生命周期,实现数据安全合规。譬如:源端系统中的PII(个人身份识别信息)在数仓、大数据平台、数据湖中是否得到有效的脱敏,有哪些数据服务有可能泄露这些机密数据,哪些数据消费者有可能获取该数据。另一方面,数据血缘也可以进行变更影响分析,分析数据的变更对相关业务的影响。譬如:源端业务系统数据库结构上的变化,对后端数据应用的影响,以便业务系统升级前做出合适的反应。上游原材料的市场价格波动,对下游产品成本的影响。数据血缘的重要性超出了传统的数据治理和合规性。它在智能数据分析、数据集成、数据质量管理和数据驱动决策方面发挥着至关重要的作用。了解数据血缘使组织能够识别数据异常、解决问题、跟踪数据转换并确保遵守GDPR、CCPA等法规。在探索过程中,我们将讨论数据血缘的技术基础,包括元数据管理、数据目录、数据集成和数据血缘跟踪机制。还包括组织能够自动化管理数据血缘流程的技术和方法。让我们深入研究数据血缘发现它在数据管理和治理领域所具有的变革力量。这本书面向数据管理和业务专业人员,从不同方面揭示了数据血缘。本书的目的是:· 提出数据血缘的定义和模型数据血缘是一个复杂的概念,每家企业都可能以不同方式定义数据血缘的关键组件,来最大满足企业需要。· 展示实现数据血缘的最佳实践实现数据血缘既费时又费资源。为了成功实施,每家企业都应该定义合适的范围、方法和解决方案。· 讨论应用数据血缘的关键业务领域在数据血缘工作上的投资应通过正确应用数据血缘来获得回报。不同的业务职能都可能受益于数据血缘的结果。不同领域的专业人员可以用不同的方式来使用本书:· 数据管理和业务专业人员,可以开拓有关数据血缘及其应用领域的思路。与数据血缘概念有关的资源很少,互联网上的文章和数据血缘解决方案提供商网站是主要的来源。目前还没有数据血缘的统一概念。这给初来者如何熟悉这个主题带来了挑战。本书深入分析了数据血缘,也提出了数据血缘元模型和相应的术语。这有助于不同利益相关者之间进行有关数据血缘的交流。· 具有技术背景的专业人员,可以更好地理解业务需要和数据血缘需求。不同的利益相关者对数据血缘的理解、需要和需求明显不同。技术专业人员主要关注于实现物理层次的元数据血缘,业务专业人员则对这些术语毫无兴趣。本书没有涵盖数据血缘解决方案中的技术内容,反而,它有助在技术专业人员和业务人员的不同数据血缘观点之间建立起一座桥梁。· 项目管理专业人员,可以来熟悉数据血缘实现的最佳实践。合适的实施范围和适当的实施方法是任何项目成功的关键因素。许多因素影响项目范围、方法和方案的选择。项目管理专业人员可以获得实用建议,并熟悉开发数据血缘业务案例的技术。本书还介绍了一些数据血缘软件解决方案。下图是数据血缘的元模型,可以看到数据血缘涉及业务、概念、逻辑、物理四层。通常讲的技术层面的数据血缘指物理层的数据流血缘,主要是数据在大数据平台中的数据加工逻辑。事实上技术上的数据血缘一定要与业务上的数据血缘相结合。才能形成立体的数据血缘关系,可以从技术血缘追溯到业务对象、业务流程,也可以通过技术血缘洞察业务流程上的关系。数据血缘元模型感谢原著作者Dr. Irina Steenbeek给我们带来这本好书,并授权进行本地化翻译。同样感谢电子工业出版社的张爽老师,她的辛勤工作是这本书能够在第一时间与各位读者见面的关键。目前本书已在各大线下书店和电商平台上线,京东电子工业出版社旗舰店限时5折!欢迎大家采购学习!Datablau数据血缘产品SQLink就是这本书的一个落地解决方案。Datablau血缘解析工具是一款高度自动化,简单易用的分析SQL语句并发现其中的数据血缘关系的可视化分析软件,能够满足技术人员对数据血缘快速批量化处理需求,简化处理流程,提高解析的速度和精准性,是企业做好数据治理的基础工具。Datablau血缘解析工具可以做什么?· 数据血缘在线解析Datablau血缘解析工具可以通过离线采集或者服务器文件采集任务在线分析Oracle、Mysql、Hivesql 在内的几乎所有主流数据库脚本、帆软和Tableau的报表文件及Excel模版。· 全链路字段级血缘解析Datablau血缘解析工具可以形成表级和字段级的数据血缘关系信息,支持采集埋点信息和自定义扩展属性,可以追踪完整链路来源,可视化的呈现数据的完整的流转关系。· 血缘关系可视化追踪Datablau血缘解析工具可以清楚地看出数据加工的各个节点,选中矢量图中任意节点,实现以此节点为起点(终点),向下(向上)追溯其影响到的其他节点路径。在浏览器打开 http://lineage.datablau.cn:28080 无需登录注册,仅需两步就可以在线完成血缘解析:第一步:选择对应的的数据库,将SQL语句复制黏贴在SQL编辑器内。第二步:点击“解析血缘”就可以准确、及时、清晰的获取完整字段级数据血缘链路。目前,Datablau官网开放基础款在线免费试用,商业合作或产品交流请点击“获取企业版”。如果您在试用中有任何建议和反馈,请通过support@datablau.com 进行反馈。
查看详情
再添重磅客户|Datablau成功签约多个数据治理项目
Datablau又一波重磅新签客户来了!Datablau将为上海国际集团、中邮人寿保险股份有限公司、湖南三湘银行股份有限公司、北京中植基金销售有限公司等头部企业提供全方位的数据治理技术支持和服务,为企业高质量推动数字化转型再次保驾护航!Datablau融合DAMA数据治理框架打造的新一代数据治理平台,涵盖数据模型、数据标准、数据质量、元数据管理、数据指标、数据安全等数据全生命周期管理,助力企业实现数据生产规范化、数据管理资产化、数据服务智能化、数据安全一体化。针对不同行业的多样化需求,Datablau不断探索和深度优化,提升产品性能和服务质量的同时构建了多行业多场景的解决方案,并为有咨询实施服务需求的企业量身定制轻咨询服务,多层次契合企业客户不同阶段、不同程度的数据治理实际需求。多次获得银行、证券、保险、制造、能源、物流等行业头部企业的认可,充分说明了Datablau的技术、产品和服务的优越性。数字化时代下,数据治理对于企业数字化转型重要性不言而喻。Datablau将继续抓紧机遇,持续聚集技术创新,以更先进、更高效的数据治理产品和服务为更多行业数字化转型赋能!
查看详情
荣誉加持| Datablau荣获「2023年度新时代数字化金融赋能数据治理典型创新产品」
近日,Datablau荣获“2023年度新时代数字化金融赋能数据治理典型创新产品”成果。同时,成功入选2023年度《平台经济高质量发展和数据治理创新成果(案例)推荐目录》。该奖项和推荐目录是由中国技术市场协会产业融合发展工作委员会、中国通信工业协会平台经济创新专委会、对外经济贸易大学中国国际品牌战略研究中心以及《平台经济数据治理评价指南》起草工作专家组成员单位联合发布。“平台经济”是数字经济的重要组成部分,以数字技术和数据治理赋能平台经济的高质量发展,不断推动产业转型升级,为建设数字中国与加快数字化进程奠定基础。随着平台经济的迅猛发展,平台金融业务整改和反数据垄断、数据合规高效流通、数据标准化管理、数据安全、数据隐私保护等的不断深入,强化数据治理全面提升数据质量,是金融机构满足外部监管和自身发展的根基。Datablau一站式数据治理平台覆盖数据事前、事后全生命周期治理流程,对金融机构在业务发展中不断产生的增量数据和逐渐积累的存量数据的治理进行设计和规划,全面构建数据模型管控、数据标准落标、数据智能盘点、数据标准管理、元数据管理、数据质量管理、数据安全管理等数据治理体系,并通过资产服务实现数据价值,为金融机构数字化运营和监管报送提供战略资源。依托于硬核的产品和高质量的交付能力,Datablau已经为上百家金融机构提供数据治理服务,其中覆盖了国有大行、股份制银行、商业银行、证券、保险、资管等头部机构,在金融领域拥有深厚的数据治理实践沉淀。着眼未来,Datablau将充分发挥自身领先的数字化技术能力,积极发挥创新引领的关键作用,持续为金融行业和其他重点行业数据要素市场化进程赋能,助推平台经济高质量发展!
查看详情
2023DAMA|Datablau以实践出发探索数据治理新发展
10月20-21日,以“数据生态和战略性新型数据平台” 为主题的“2023DAMA中国数据管理峰会” 在北京圆满落幕,作为数据治理领域的引领者,Datablau连续四年受邀出席DAMA峰会,与国内外数据管理大咖同聚一堂,共襄盛会。从实践出发探索数据治理新发展10月21日下午,Datablau创始人&CEO王琤先生受邀在大会发表了《数据治理新实践与发展趋势》主题演讲,为业界充分展示了Datablau基于具体实践沉淀出的最新解决方案,同时展望了未来数据治理的新趋势。随着数字化转型的进程的不断深入,企业产生和积累的数据呈指数级增长。企业数据管理挑战日益增加,需要建立有效的数据治理机制和数据资产管理体系。王琤指出,通过对数据进行安全体系建设,可以更好地组织、管理和优化数据资源,提高数据的可信度和可用性。他从人资域专项数据治理实践出发,深入浅出阐述了基于数据安全与体系的数据自助式分析解决方案。为了更好的管理和利用企业的数据资源,数据入湖是大势所趋,那么如何建立统一的数据底座进行资产入湖?数据模型与数字资产目录如何联动?等等企业遇到的难题该如何解决,王琤现场也给出了Datablau数据资产入湖的解决方案,他提到,基于数据治理平台的入湖规范指导模型设计与ETL数据加工逻辑,可以实现各业务域数据入湖各项规范统一托管及对应指标计算。此外,王琤先生作为数据治理领域的资深专家学者,同时受邀在本次峰会“会员之夜”分享了《EDW2023全球数据治理最新趋势》,紧跟国际趋势,积极推动国内数据治理发展。全产品体系齐亮相Datablau携手四大治理平台+三大治理工具亮相DAMA峰会展区,TP&AP一体化的数据治理理念和创新的产品体系引得与会嘉宾们纷纷驻足交流。Datablau全产品体系涵盖了数据建模工具、数据治理平台、数据资产目录平台以及数据安全治理平台四大核心产品,满足企业全生命周期数据治理需求;同时包括Datablau最新推出的数据架构工具、指标管理应用工具、血缘解析工具三大治理工具 ,从横向和纵向不断拓展产品能力,使得产品能够覆盖和兼容更多的数据治理场景,打造真正能用起来的数据治理一站式平台。荣誉见证实力为了表彰和鼓励突出贡献的组织和个人,发掘和树立各行业领域数据管理能力标杆,本次峰会隆重举办了数据治理颁奖典礼。Datablau再度荣获“数据治理优秀产品奖”,这也是Datablau作为国内数据治理引领者连续四年获此殊荣,奖项背后是行业同仁与业界专家对Datablau的认可,更是Datablau履行标杆企业的责任与担当;同时,Datablau资深咨询顾问黎山老师凭借数十年数据治理咨询实施项目经验和深厚理论沉淀被授予“数据治理专家奖”。此外,Datablau“朋友圈”喜讯连连,以Datablau技术平台为支撑的金风科技、广发证券、京东方等申报的数据治理实践项目均获得数据治理最佳实践奖。2023年DAMA中国数据管理峰会圆满落幕,但我们对数据管理的探索永无止境。未来Datablau将保持不断探索和推动数据治理革新的决心和实践,在数字化浪潮下携手更多的企业客户释放数据要素价值!
查看详情
生态聚能|Datablau加盟中国电子智方舟网信生态加速营
6月初,“2023智方舟网信生态加速营”正式公布入围名单。经过严格的海选初筛、两次复评、综合多位专家评审的意见,最终筛选24家优秀的创业公司的创始人和联合创始人入营。Datablau数语科技作为数据治理行业优秀企业,成功加盟“2023智方舟网信生态加速营”,Datablau创始人&CEO王琤先生作为企业代表受邀参加了6月15日-16日的训练营主题活动。据悉,“2023智方舟网信生态加速营”以“聚浪舟行,共铸网信”为主题,围绕中国电子以重构计算产业体系为纲,以集成电路、网络安全、数据应用、高新电子为重点的“一纲四目”业务布局,致力于通过建设开放式、共创型的网信生态,加速网信领域优秀创业公司发展,打造中国网信事业的“生力军”。6月15日,“2023智方舟网信生态加速营顺利开营,Datablau数语科技创始人&CEO王琤先生与其他23位入营企业代表、10家媒体机构以及20家投资机构共同见证了中国网信产业蓬勃的生命力。在项目对接会上,Datablau与中国电子核心成员企业进行了深度对接,并在现场与中国电子数据产业集团、奇安信等达成了合作意向,双方将秉承优势互补、资源共享的合作原则,在产品研发和适配、市场推广、投资融资等方面展开深入合作,携手共进,促进双方业务的共同发展。作为数据治理领域国产生态的标杆企业,Datablau期待与各行业优秀企业发挥合力,加强技术创新,共同推动中国网信行业的发展。
查看详情
Datablau亮相2023全球数字经济大会
近日,2023全球数字经济大会在北京国际会议中心顺利开幕。期间,以“深化数据要素治理,筑牢数字安全屏障”为主题的全球数字治理合作论坛隆重举办,Datablau数语科技创始人&CEO王琤先生受邀出席本次论坛并与行业专家、企业负责人等就数据要素等相关热点话题进行探讨和交流。深化数据要素发展和治理,加强数字安全国际合作,对于推动我国数字经济深入发展、助力构建网络空间命运共同体具有重要价值,有利于企业加速出海步伐,深耕国际市场,进一步提升国际竞争力和话语权。对此,中国信息通信研究院举办全球数字治理合作论坛,邀请了国内外政、产、学、研、用各界共话发展与治理议题,促进国际交流与合作,推动深化数据要素和数字安全国际治理, 并为产业国际化发展提供建设性建议。会上,Datablau数语科技创始人&CEO王琤先生在以“数据要素如何重塑企业在未来经济中的竞争力”为主题的对话环节中指出,数据经济时代,数据正在成为核心生产要素,数据能力是企业未来的核心竞争力。同时,他也提到,目前国内数据要素尚处于起步阶段,从企业层面来讲,大多数企业还停留在被动用数,未来需要通过人才融合和数据确权、估值、交易等机制的完善来实现主动用数,从而才能真正发挥数据要素的价值。数据治理是数据要素市场健康发展的重要一环。作为国内数据治理领域的中坚力量,Datablau积极参与推动数据要素发展,助力企业通过数据治理全面提升数据资产管理和运营能力,为企业数字化转型提供了最核心最基础的支持力量。目前Datablau服务了泛金融、智能制造、物流、零售等多个行业的200+多家大型企业,未来也将为更多的企业数字化发展赋能!
查看详情
Datablau入选Gartner数据资产管理代表厂商!
近日,Gartner 发布《Hype Cycle for Data, Analytics and AI in China, 2023》报告,Datablau成功入选数据资产管理代表厂商。充分体现了中国市场和国际权威机构对Datablau的认可,同时彰显了Datablau在数据资产管理领域领先技术实力和出色的产品能力!作为国内的数据资产管理的先行者和开拓者,Datablau潜精研思,经过不断打磨而逐渐完善产品体系,形成了集模型管理、元数据管理、数据标准管理、数据质量管理、数据安全管理等为一体的全链路数据管理能力,可以帮助企业实现数据生产更规范、数据管理更智能和数据使用更高效,助力企业充分发挥数据资产价值,并相继得到国内多家行业龙头企业的认可。Datablau拥有多年数据资产管理的实践创新经验,已经超过200+大型企业客户落地数据资产管理的解决方案,覆盖金融、制造、能源、物流等多个行业的TOP级客户。未来,Datablau将持续深耕数据治理和数据资产管理领域,不断开拓创新,为更多企业提供更智能、更高效的工具,为企业数字化转型赋能!
查看详情
持续增长|Datablau成功签约多个数据治理项目
Datablau在数据治理领域有着深厚的底蕴,经过多年的技术沉淀,Datablau自主研发的数据治理产品获得了多家TOP级企业和机构的青睐。凭借技术实力和硬核产品力,近期成功拿下金光纸业、上汽通用(二期)、民生银行(二期)、国金证券等多个大型数据治理项目,进一步巩固了Datablau在国内数据治理行业先锋地位。一直以来,Datablau不断对数据治理进行探索,在开发新产品的同时,同样重视对既有产品的升级和优化。经过的多年的打磨,逐步形成了以数据模型管控、数据资产管理、数据资产目录、数据安全管理为核心的端到端,全域,面向数据资产的治理和运营平台。同时,基于市场的实际需求,开发了数据架构工具、指标管理工具、血缘解析工具等三款治理新工具,满足企业不同场景和不同阶段的数据治理场景。成立至今,Datablau已经服务了金融、制造、能源、物流、零售等领域的200多家大中型企业,标杆客户包括建设银行、华为、中国人寿、国家电网等,产品和服务深受客户一致好评。未来,Datablau将继续帮助更多企业落地数据治理最佳实践,助推动数字化转型之路。
查看详情
鑫智奖 | Datablau荣获数据治理与数据平台创新优秀解决方案
近日,“2023鑫智奖·第五届金融数据智能优秀解决方案评选”榜单发布,Datablau申报的《一站式数据治理解决方案》荣获「数据治理与数据平台创新优秀解决方案」。为展示金融企业数据管理和数据平台智能化转型成果,分享大数据和人工智能在风控、营销、产品、运营等场景的落地实践,探讨“金融科技+数据智能”的创新应用和未来发展,在全球金融专业人士协会的支持下,金科创新社主办了“2023鑫智奖金融数据智能优秀解决方案评选”活动。据了解,“鑫智奖”已经连续举办五届,累计收到334家科技企业的409个解决方案参评。本届参选方案经过48位业内权威专家评审后最终评选出“数据治理与数据平台、运维、网络信息、营销、运营、风控、监管与合规”七大领域的优秀解决方案。Datablau一站式数据治理解决方案凭借创新性和优秀的落地实践获业内权威评审专家的一致认可。Datablau一站式数据治理解决方案■ 方案介绍Datablau一站式数据治理解决方案覆盖数据全生命周期治理流程,对金融机构在业务发展中不断产生的增量数据和逐渐积累的存量数据的治理进行设计和规划,全面构建数据模型管控、数据标准落标、数据智能盘点、数据标准管理、元数据管理、数据质量管理、数据安全管理等数据治理体系,并通过资产服务实现数据价值,为金融机构数字化运营和监管报送提供战略资源。■ 应用场景痛点伴随着监管科技能力的不断升级,数字化监管对金融机构数据的核查已成为常态,这为金融机构深化数据治理与应用以及充分发挥数据要素价值带来了新机遇,但同时也对其提出了新的挑战。随着多年信息化建设的推进,金融机构面临着海量的存量数据,缺乏对数据整体情况的掌握以及数据标准不规范、数据质量差等问题,需要搭建常态化+智能化的治理机制。同时,数据治理和业务发展又是平行推进,金融机构会随着业务的需要不断增加新的业务系统,对于新增数据,金融机构面临数据标准落地难等问题,需要构建事前管控+事后监控模式、形成常态化机制,从根本上、源头上解决数据质量问题;同时,大多金融机构缺乏数据治理方法的指导和智能化平台的支撑,因此,数据治理推动难度大、进度慢,效果差。Datablau一站式数据治理解决方案通过DDM数据模型管控平台实现数据标准一键落地,自上而下从根源实现数据规范化;对于存量数据通过“盘-归-治-用”的产品模块自下而上构建良好的数据生态;对于治理好的数据自动生成数据资产目录,针对不同类型的数据资产对象,开放多样化的数据服务,并形成数据资产地图,为业务的决策提供有效的支撑。■ 方案亮点数据治理全流程覆盖:覆盖事前、事后数据全生命周期治理,实现数据生产规范化、数据管理运营智能化、数据服务一体化的全流程数据治理。强大的数据模型管控能力:以数据模型和数据标准为驱动拉通金融机构数据原生能力,形成全面数据底座,全面提升金融机构数据综合治理能力根基。产品模式的解决方案:产品功能丰富,可以通过不同模块灵活组合的解决方案来契合不同阶段、不同场景的数据治理需求。优秀的中台集成能力:可以有效集成数据中台,更好保护原有数据资产,提升数据治理效率。目前,Datablau已经服务多家金融机构,包括建设银行、交通银行、民生银行、中国邮政储蓄银行、平安银行、北京银行、中原银行、中国人寿、广发证券、华泰证券、中国人民保险、中金、兴业证券等,未来,Datablau将会持续赋能金融行业数字化转型!
查看详情
强强联合结硕果|Datablau与阿里云携手新签五家客户
近日,Datablau与阿里云携手签约青海盐湖工业、厦门航空、京东方(二期扩容)、泰康保险、证监会等多家大型客户。不断壮大自身,打造破圈融合,是数字时代发展的必然要求。Datablau在专注于核心技术研发、不断强化自身产品性能的同时积极开拓生态合作,长期以来一直是阿里云的优质合作伙伴,Datablau DDM与阿里云数据开放平台DataWorks集成一体化解决方案平台,同时,Datablau数据治理平台与阿里云完成产品兼容,性能进一步提升。双方在长期稳定的合作中,不断加强在产品、服务、生态和技术等各方面融合,充分发挥阿里云在云计算平台、大数据、人工智能等多方面的优势资源和Datablau数据治理产品解决方案能力,优势互补,形成互利双赢的格局。此前,双方共同落地了中国人民银行、中国人寿、徐工机械、海螺集团、陕煤集团等多个大型标杆项目,双方多次通过紧密合作持续更高效地合作共同推进行业应用落地,为企业数字化之路不断赋能。今年是Datablau生态合作全面发力的一年,在刚刚结束的2023年数据治理新实践峰会上,Datablau创始人&CEO王琤先生正式发布了《生态合作案例分享》,分享了Datablau与10+生态合作伙伴在金融、能源、制造、政务等多个行业的项目落地案例,同时强调了要充分发挥生态的力量,打造围绕产品集成、解决方案共建、咨询规划、实施交付等端对端的合作生态圈,携手合作伙伴共同探索更多市场机会。Datablau合作伙伴招募ing,欢迎感兴趣的伙伴加入,共同探索合作共赢之路!(生态合作咨询请联系:sale@datablau.com)
查看详情