2.1 国内外数据管理模型发展历程
2.1.1 数据管理技术发展历程
数据管理活动是伴随着数据的产生而产生的。可以说,数据管理经历了一个漫长的过程。从技术角度来说,数据管理技术的发展大体可归为3个阶段。
人工管理阶段(20世纪50年代中期以前),计算机主要用于科学计算,外部存储器只有磁带、卡片、纸带等,还没有磁盘等直接存取/存储设备,软件只有汇编语言,尚无数据管理方面的软件,数据处理方式基本是批处理。
文件系统阶段(50年代后期至60年代中期),计算机不仅用于科学计算,还用于信息管理。
数据库管理系统阶段(60年代后期以来),数据管理技术进入数据库系统阶段,数据库系统克服了文件系统的缺陷,提供了对数据更高级、更有效的管理。
2.1.2 数据管理研究早期探索
虽然数据管理活动出现很早,但数据管理概念直到20世纪80年代才出现,是伴随数据随机存储技术和数据库技术的使用、计算机系统中的数据可以方便地存储和访问而提出的。“数据管理”这一术语被用来描述数据库管理人员和技术人员所做的工作。1988年,麻省理工学院两位教授启动全面数据质量管理计划(TDQM),可以将这一时期看作数据管理研究萌芽期。同年,DAMA国际成立,致力于企业信息和数据管理的研究、实践及相关知识体系的整理,在数据管理方面有极为深厚的知识沉淀和丰富的经验。随着数据仓库的应用落地和展开,在2000年左右,数据治理的相关理念也逐渐形成。2002年,美国学者沃森(H.Watson)探讨了数据仓库治理在Blue Cross和Blue Shield of North Carolina两家公司[已合并为北卡罗来纳州蓝十字与蓝盾公司(Blue Cross and Blue Shield of North Carolina, BCBSNC)]的最佳实践,被认为拉开了数据治理在企业管理中的大幕。
2.1.3 数据管理模型研究与广泛应用
随着时代的发展,数据管理已经从技术人员的工作逐渐成为组织管理者、业务管理人员、技术管理人员都参与其中的活动。数据管理逐步从组织的整体层面来进行,横跨组织的销售、市场、业务等管理领域。随着数据管理内涵不断拓展,有关数据管理模型也不断涌现并广泛应用。
数据管理模型研究及应用领域,以美国高德纳(Gartner)公司、企业数据管理协会(EDM Council)、DAMA国际、美国卡内基·梅隆大学软件工程研究所(SEI)、国际数据治理研究所(The Data Governance Institute, DGI)、IBM公司等组织为代表,提出了自成体系的数据管理框架或数据管理相关理论模型。据不完全统计,截至2020年,已知的全球数据管理模型约有20个。常见的数据管理模型有DGI的数据治理框架(Data Governance Framework, DGF, 2004)、Gartner公司的数据治理模型(The EIM Maturity Model,2008)、DAMA国际的数据管理知识体系(Data Management Body of Knowledge, DMBOK, 2009,2017)、IBM公司的数据治理成熟度模型(Data Governance Maturity, DGM, 2010)、EDM Council的数据管理能力评估模型(Data Management Capability Assessment Model, DCAM, 2014)、SEI的数据管理成熟度模型(Data Management Maturity Model, DMM, 2014)等。
2004年,DGI首次发布数据治理框架,在框架模型中初步提出了RPP(人员/流程/规则)框架。但该框架没有对数据治理的具体工作内容给予细化或明确说明。
2008年,Gartner公司的数据治理模型描述了数据管理的构成要素及要素之间的层级关系,包含主数据管理基础设施、数据安全与活动监控、数据库架构、数据集成与主数据管理等13个组成部分,数据治理和信息管理仅是该模型的组成部分。Gartner公司同时提出了数据治理与信息管理的要素模型,来描述支撑数据治理方案的基本要素,该模型包含规范、计划、建设和运营4个部分,定义了企业在数据治理的4个阶段应重点关注的内容,适用于实施数据治理计划的任何组织。
2006年,DAMA国际发布数据管理框架。2009年,DAMA国际撰写的《DAMA数据管理知识体系指南》(DAMA-DMBOK)出版。2017年,DAMA国际撰写的《DAMA数据管理知识体系指南(第2版)》(DAMA-DMB OK2)出版。该体系是业界数据管理实践的结晶,成为从事数据管理工作的经典参考资料和指南。
2010年,IBM公司发布《数据治理统一流程》。在该书中,IBM公司提出了数据治理成熟度模型(DGM),在充分借鉴能力成熟度模型(Capability Maturity Model, CMM)的基础上,针对数据管理的不同领域进行详细的定义,每个领域都按照CMM的模式进行阶段划分。根据IBM公司的定义,数据治理域被划分为数据风险管理和合规、数据价值创建等11个子域,模型为11个子域定义了5个阶段,并且定义了一系列指标,采用问卷调研方式评估组织目前的数据管理状况,方便组织对自身的数据进行全面管理。
2014年,EDM Council主导,组织金融行业的企业参与编制和验证,基于众多实际案例的经验总结编写了DCAM。DCAM首先定义了数据能力成熟度评估涉及的能力范围和评估准则,然后从战略、组织、技术和操作的最佳实践等方面描述了如何成功地进行数据管理,最后结合数据的业务价值和数据操作的实际情况定义了数据管理的原则。EDM Council先后发布了两个版本的DCAM,较新的DCAM 2.0于2017年发布,其主要强调团队协作(流程)、标准执行和资金支持,分为数据管理战略与业务案例、数据管理流程与资金、数据架构、技术架构、数据质量管理、数据治理、数据操作七大职能域。
2014年,SEI基于能力成熟度模型集成(CMMI)的方法和经验,结合众多知名厂商在数据管理领域的经验,推出DMM,将能力成熟度概念引入数据管理领域。DMM由5个支持过程域和20个数据管理过程域构成,并通过5个基础设施及支持流程的综合运用,形成完整的数据管理成熟度模型。DMM是一个能实现业务部门利益与IT相互匹配的强大加速器,可为组织提供一套最佳实践标准,制定让数据管理战略与单个商业目标相一致的路线图。
2018年,我国正式发布《数据管理能力成熟度评估模型》(DCMM)国家标准。与此同时,相关行业管理部门也针对本行业数据管理特点不断出台有关制度,规范行业数据管理工作。2018年5月,中国银行保险监督管理委员会(简称“银保监会”)发布《银行业金融机构数据治理指引》,提出银行业金融机构应当将数据治理纳入公司治理范畴,建立自上而下、协调一致的数据治理体系,法定代表人或主要负责人对监管数据质量承担最终责任。数据治理应当覆盖数据的全生命周期,覆盖业务经营、风险管理和内部控制流程中的全部数据,覆盖内部数据和外部数据,覆盖监管数据,覆盖所有分支机构和附属机构,这也标志着数据治理在我国银行业金融机构全面实践时代的到来。2018年11月,中国证券业协会发布《证券公司数据治理操作指引(征求意见稿)》,明确了对于证券公司的数据治理架构、数据管理机制、数据质量管控等方面的要求,提出将数据安全管控纳入数据治理体系的要求。该征求意见稿中提出证券公司要“积极推进行业数据生态建设”,加强大数据标准管理、安全管理和服务管理。2019年6月,工业和信息化部印发《电信和互联网行业提升网络数据安全保护能力专项行动方案》,针对电信和互联网行业,坚持维护数据安全与促进数据开发利用并重,坚持数据分类分级保护,加快推动构建行业网络数据安全综合保障体系。2020年2月,工业和信息化部办公厅印发《工业数据分类分级指南(试行)》,目的之一就是更好地推动DCMM贯标落实,指导组织提升工业数据管理能力,促进工业数据的使用、流动与共享,释放数据的潜在价值,赋能制造业高质量发展。