数据治理

业务概述

企业数据治理主要解决数据的冗余、一致性、完整性、规范性等问题,从而使数据分析能够发挥最大的管理价值。通过制定和贯彻执行各类业务和技术标准,就能从技术上、管理上把各方面有机地联系起来,形成一个统一的系统整体,保证数据治理过程进行的有条不紊。

通过紧密结合企业数据治理成果解决企业数据分析不准确的难题,建立真正意义上的数据中心,为企业的快速健康发展奠定坚实的数据基础。

针对支撑数据分析,目前企业存在三种数据治理模式,具体如下:

源端数据治理,是指通过解决业务系统源头数据质量的问题,实现提高数据分析的准确率。

末端数据治理,是指针对解决数据仓库层数据质量的问题,实现提高数据分析的准确率。

混合数据治理,是指包括源端和末端数据治理的模式。

图片.png

项目背景简要说明

随着网络和信息技术的不断普及,人类产生的数据量正在呈指数级增长。大约每两年翻一番,根据监测,这个速度在未来几年会继续保持下去。这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。这些数据分散管理,存在信息孤岛,数据标准不统一,难以数据共享,没有统一的数据管理平台和管控体系,数据管理和安全风险大。

大量新数据源的出现则导致了非结构化、半结构化数据爆发式的增长。信息数据的单位由TB-PB-EB-ZB的级别暴增。这些由我们创造的信息背后产生的这些数据早已经远远超越了目前人力所能处理的范畴。如何管理和使用这些数据,逐渐成为一个新的领域,于是大数据的概念应运而生。

大数据的快速发展,使它成为IT领域的又一大新兴产业。据中央财经大学中国经济管理研究院博士张永力估算,国外大数据行业约有1000亿美元的市场,而且每年都以10%的速度在增长,增速是软件行业的两倍。我国2012年大数据市场规模大约4.7亿元,2013年增速将达到138%,达到11.2亿元,产业发展潜力非常巨大。我国大数据飞速发展的背后存在诸多的问题:相关利益交织,协调难;方案规划容易,落地困难;过度依赖技术工具;对于数据没有明确区分。

解决问题

1)多业务和组织视图管理

实现各业系统和组织的私有和公有属性的单独管理,解决同一属性因业务系统或组织不同时值不相同的问题,增强数据管理的直观性,为企业数据中心的建立奠定坚实的基础。

2)多编码体系管理

解决特殊业务系统编码体系无法更换的难题,实现数据管控平台内同类数据共存多套编码体系,且按照原编码体系继续进行编码。

3)数据协同申请、变更

打破传统数据申请由一人全部完成的模式,实现按属性字段权限由多人逐次(或同时)完成一条数据的申请或变更工作,如,供应商数据的外部(供应商的人员)增强,实现企业数据新增或变更时的内部或者内外部的协同工作,拉长数据新增或变更的流程,减少错误发生,明确相关责任。

4)数据多类别管理

a.解决各系统间类别无法统一的难题;

b.满足多人针对老类别的使用习惯;

c.减少项目因类别整理造成的实施障碍,缩短项目实施周期;

d.实现数据在多类别结构树间的灵活搬迁、挪移。

5)过程知识管理

a.解决管理咨询思路无法延续的问题;

b.详细再现数据咨询、实施过程;

c.减少数据运维管理的难度。

6)数据保养管理

a.实时监控、处理数据运维过程中的数据质量问题;

b.解决数据治理后质量问题重复出现的问题。

7)数据质量检测规则管理

具备独立的大数据行为分析的数据质量监测功能;支持前台可视化自定义配置数据质量检测标准、机制;支持前台自定义配置深层次数据质量监测算法;具备百万级的数据及模型标准库,支持云端检索;预置数据质量的检测标准(算法+表达式等);预置多种的数据质量展现格式;预置多种数据质量预警形式;预置手动、自动等数据质量的监测机制。

8)数据质量检测分析

支持数据质量问题的检测结果的图形化展示;支持数据质量问题的检测结果的表格化详细展示;支持数据质量的主动及被动检测模式;支持静态数据和业务数据区别的检测机制;自动生成数据质量检测报告;支持分组织层级的数据质量监测;支持分业务系统的数据质量监测。