首页 > 御数大家谈
数据治理需关注业务多一点点
发布时间:2017-06-05 10:22:32

 

吃早饭的时候与同事聊天时谈到昨天回家在路上花去了两个小时的时间,同事非常惊奇的问道,这不对啊,一般情况下你回家的时间应该是一个小时多点,坐地铁的话应该没有这么大的误差。我开玩笑的说,你对我的时间掌握的很准啊,但是实际上这两个数据都是正确的,之所以会有这个差异是因为我回家时会选择提前一站地下地铁,多走一段路,以期达到锻炼的目的。
clipboard1.png
一个小时多点,两个小时,这是两个时间,亦是两个数据。数字是没有错的,但上升到数据却有可能有错。因为数据是被我们赋予了业务含义在里面的,就如上面谈到的回家的时间,正是因为我们有了我回家是从鼓楼大街到枣园乘地铁回去到这个业务规则在里面才有了同事作出我回家时间有问题的判断。这个判断的基础是因为同事了解我回家的规则,但是却不得知实际上这个规则已经发生变化了。
clipboard.png
在我们的工作中也经常会遇到数据异常但是业务合理的情况,例如,手机还未进入智能时代的时候,在特殊的节日(春节),短信的发送量,通话时长这两个指标就会出现异常波动的情况(而且是大比例的波动),这些波动的情况被数据质量系统监测到会出现严重告警,并发送告警短信到运维人员的信息中,而实际上春节是中国的传统节日,大家发送祝福短信、打通祝福电话实属正常,虽然数据也有大范围的波动,但是却也是正常现象中的一种,反而如果在这个时期数据还如往常一样,却是有些不正常了。当然,现在进入手机智能时代,短信在特殊节日也许没有那么夸张的波动了,但是微信红包的发送率却会增加许多,假设微信红包的发送量是一个需要监控的指标,那么数据质量系统估计又会告警了。
通过上面的示例我们可以发现看似异常的数据在当时特定的业务规则下也许是正常的数据,但是在我们生活与工作中也会碰到数据值或者数据量在合理的范围内,但却是不正常的,这样的数据的应用给我们带来了一定的影响与损失。例如:NASA,1999年的火星气候探测器发送任务失败的根本原因是火星气候探测者号上的飞行系统软件使用公制单位牛顿计算推进器动力,而地面人员输入的方向校正量和推进器参数则使用英制单位磅力,导致探测器进入大气层的高度有误,最终瓦解碎裂。同样的数据在不同的业务规则下却带来了惨痛的教训。
我们现在处于数字时代下,每天被赋予了业务含义的数据包围着,我们对于数据是敏感的,应用正确的数据会给我们带来正向价值的提升,应用错误的数据则会给我们带来错误的估量,甚至带来巨大的损失。要理解数据,就需要了解隐藏在数据背后的业务规则,要数据更好的为我们服务就更需要对业务的规则做好管控。
当前国内越来越多的企业开始关注数据治理、开始着手实践数据治理的工作,在实践过程中,无论是数据资源的收集管理,还是数据标准制定、数据质量的监控,亦或是其他的一些数据治理的活动,在关注数据技术本身的属性时,更需多关系数据的业务属性以及数据间 的业务关联性。
例如,元数据管理,在过去关于表的元数据管理更多的是从表的owner、表的中文名称、表的英文名称、所属表空间、是否是系统表、是否是临时表、、是否分区、是否压缩、分区类型等技术属性来描述,忽略了表所在业务系统、所关联的业务信息、业务逻辑实体、表的用途、是否对外提供数据、数据的更新周期等一系列的业务属性。业务属性的管理有助于我们识别核心的元数据,例如对外供数的表在很大程度上就是核心的表元数据;与其他表存在业务关联信息的表,需要更多的关注业务关联关系是否已经建立,建立的是否符合业务规则的要求;这些规则也是数据质量中需要多关注的监控点。
在数据质量的监控中需要考虑业务实际对数据的合理影响与数据之间的业务关联性。例如,文中提到的春节期间短信发送量、通话时长这两个指标的异常波动,在数据治理的活动中需要考虑到节假日对两个指标的业务影响,作为额外的业务规则充分考虑在质量监控的监控规则中,使数据质量的监控规则设置更合理。数据及时录入及时传输,数据中各个属性也都符合值域的要求,从技术规则上来分析该数据是合法的数据,但是加入业务规则的考量,也许就会暴露出更深层次的质量问题;例如已经发生的项目财务凭证,也许与所需的项目归属关系不存在。
那么在数据治理活动中从哪些方面着手来提高对业务的关注与管理呢?
首先在制度方面列入相关的条款要求,相信每个开展数据治理活动的公司都会发布数据治理的大法,建议在大法中加入与业务相关的管理要求,例如:在职责方面引入与业务部门的职责要求,在组织方面增加业务部门相关人员的组织岗位,在数据治理活动中增加对业务流程、业务规则等的描述与管理要求,在考核措施中引入一些与业务有关的规则。
其次,保障业务部门的参与度,组织上落实业务部门的人员职责与岗位。数据治理活动需要业务部门与技术部门共同参与,仅仅只是技术部门的投入很难保障数据治理工作的推进效率与成果落地。在数据治理的组织中引入业务部门的岗位并明确业务部门岗位人员的职责,无论是全职负责还是兼职参与,都可以在很大程度上推进数据治理工作的开展。
第三,数据治理相关技术工具中增加对业务属性与业务规则的管理与应用。例如元数据管理工具中,在管理技术元数据的规则的同时增加对业务元数据的管理(如在Table元模型所管理的数据中增加业务关联关系、业务规则等业务相关的管理内容),在质量管理工具中,与元数据系统互通获取相关的业务关联关系、业务规则并配置实现业务级的质量监控,在确保数据及时性、完整性、准确性的基础上验证业务间的合理性。
在数据治理工作中我们工作的主体是数据,而数据是否合理,是否有价值,离不开数据的业务含义,所以,在开展治理工作中,我们需要关注业务多一点点再多一点点,夯实数据的基础。
联系我们
地址:北京市海淀区中关村南大街甲6号铸诚大厦B座706室
邮箱:
info@dgworkshop.com.cn
微信号:DGWorkshop_CN
关注我们
Copyright © 2016 御数坊(北京)科技咨询有限公司