数据标准是保障数据的内外部使用和交换的一致性和准确性的规范性约束. 数据管理规定是为规范完善数据的生产、管理和使用,充分发挥数据资源价值所做的各项具体约束. 数据标准是数据治理的基础,也是数据治理建设中的首要环节^{[7- 8]}. 开展数据治理工作一般都是从制定数据标准和数据管理规定开始的,通过制定和发布统一的数据标准,结合制度约束和系统控制等手段,可以有效提高数据的完整性、有效性、一致性和规范性,进而推动数据的共享开放,构建统一的数据资产地图,为数据资产管理活动提供参考依据^[7].

数据采集是指通过使用数据采集工具将不同来源、不同性质的分散数据抽取集中到一起的操作. 它是数据治理的第一个环节,主要作用是采集分散数据并集中存储,方便后续对数据进行清洗、整理和交换等,是数据治理闭环中的基础环节. 数据采集的数据类型包括结构化数据、半结构化数据和非结构化数据.

数据清洗是指在数据集中找出不准确、不完整或不合理的“脏数据”,并对这些数据进行修补或移除以提高数据质量的过程^[9-10]. 数据清洗是针对采集到数据库中的原始数据集进行的,是提升数据质量的关键环节. 评价数据质量的优劣有很多种维度,使用中通常都要结合具体的应用场景来选择合适的维度. 一般认为,完备性、一致性、及时性、有效性和完整性是评价数据质量最重要的5个维度,因此,在数据治理过程中通常都是针对这5个维度展开工作^[11].

1)数据清洗的流程.

数据清洗的流程如图2^[11]. 首先,根据业务需求,对待清洗的原始数据集进行初步分析,弄清数据集中各项数据的含义; 然后,结合数据标准和实际业务要求,从完备性、一致性、及时性、有效性和完整性等5个维度对数据进行检测清洗,补充缺失数据,删除重复数据,纠正错误数据,更新最新数据,同时记录数据清洗过程中发现的问题以及相应的处理情况; 最后,将数据清洗过程中发现的问题进行整理并生成数据质量报告,发送给数据生产单位进行整改; 同时,将清洗过的数据进行综合处理,存储到指定位置,为后续工作提供基础.

2)评价数据质量的五个重要维度.

表1对评价数据质量5个重要维度的检查内容及检查后输出的报告内容分别进行描述.

图2 数据清洗流程示意图[11]

表1 评价数据质量的5个重要维度

3)数据清洗示例.

示例1:对不规范单位名称的标准化转换. 如单位名称(电教中心、网络中心、网管中心、信息办和信息化办)都代表信息化建设与管理办公室.需要根据数据标准,采用统一的名称来表示. 可以先建立一个数据字典,其中,键的取值范围是所有不同表示方式的集合.

{

“电教中心”=>” 信息化建设与管理办公室”,

“网络中心”=>” 信息化建设与管理办公室”,

“网管中心”=>” 信息化建设与管理办公室”,

“信息办”=>” 信息化建设与管理办公室”,

“信息化办”=>” 信息化建设与管理办公室”,

…

}

示例2:对特定数据格式的验证,如电子邮箱地址格式验证、身份证验证、学号验证和工作证号验证. 可结合数据标准使用正则表达式进行验证. 验证南开大学电子邮箱算法示例为:

function checkEmail($email)

{

if

(ereg(“/^[a-z]([a-z0-9]*[-_。]?[a-z0-9]+)*@([a-z0-9]*[-_]?[a-z0-9]+)+[。][a-z]{2,3}([。][a-z]{2})?$/i; ”,$email))

{

return true;

}

else

{

return false;

}

}

数据整理是指根据实际业务需求,为方便数据管理和数据交换所做的数据梳理工作. 一般情况下,可根据属性和用途将数据划分为原始数据层、主题数据层、统计分析数据层和应用数据层.

原始数据层,顾名思义,存储的是数据采集过程中从不同数据源采集而来的原始数据,该层数据同数据源数据保持一致,未做任何加工. 除原始数据层外,其他3个分层存储的数据均是在对原始数据层数据进行清洗后所整理的数据分层.

主题数据层是按照不同业务主题所划分的纵向分类层,该层由多个主题域组成,每个主题域均是由与该主题相关的所有数据组成的数据集. 如,高校数据的主题域可划分为学校主题、学生主题、教学主题、研究生主题、教职工主题、科研主题、财务主题、资产主题、办公主题、党建主题、宿管主题、图书馆主题和一卡通主题等.

统计分析数据层是用于对数据集中的各类数据进行专项统计分析的数据分层. 该分层中的统计数据是根据实际业务需求在线建模创建的. 如,高校的统计分析数据层包括学校基础数据统计、科研数据统计、财务数据统计和资产数据统计等.

应用数据层是面向具体业务应用划分的数据分层,该分层由不同应用的数据集组成,每个数据集都是单独为该应用提供的数据. 如,高校的应用数据层可包括办公OA系统数据集、教务系统数据集和科研系统数据集等.

数据交换是将符合源模式的数据转换为符合目标模式数据,该目标模式尽可能准确并且以与各种依赖性一致的方式反映源数据^[12-15]. 一般情况下,数据交换是在共同遵循“数据标准”的前提下,通过数据视图或webservice等方式在不同系统间进行的.

数据生产单位收到数据清洗阶段生成的数据质量报告后,根据报告内容对存在的问题数据逐一进行审核修正,最后通过相应的业务系统或文件将数据源更新. 源数据质量得到提升后,整体数据质量就得到了提升,如此往复循环,整体数据质量就会越来越好,从而达到数据治理的目的.

南开大学自启动数据治理工作以来,一直在摸索提升数据治理效果的方案并不断进行实践改进. 到目前为止我校共实践了3种主要模式,分别是内部循环模式、加强内部循环模式和加强内外双循环模式.

在数据治理初期,我校采用的是数据治理内部循环模式,由学校信息化建设与管理办公室牵头,搭建校级数据清洗整合平台、公共数据共享平台和数据质量监测平台,制定《南开大学数据标准》和U/C矩阵,协调学校各数据生产/使用部门,初步实现了部分公共数据在校内的交换共享并提升了数据质量. 在此期间,由于部分部门对数据治理的意义认识不足,对数据治理工作配合度不够,因此无法完成对相应数据的治理工作. 为此,我们积极与学校领导沟通争取,由学校发布《南开大学公共数据管理规定(试行)》,规定中确立南开大学信息化建设与管理办公室作为学校数据的管理部门,明确各数据生产部门和数据使用部门的工作职责和权益. 从此学校的数据治理进入加强内循环模式,校内各部门配合度显著提高,数据覆盖面增加,数据质量也得到了较大提升,数据治理效果空前. 随着数据治理的逐步深入,发现各部门信息化发展水平参差不齐,还是有很多数据由于没建相应的业务系统所以无法提供电子版数据源. 为了解决这个问题,我们在加强内循环模式的基础下,积极引入数据外循环模式,形成数据治理加强内外双循环模式,双管齐下,数据治理效果显著.

表2展示了3种数据治理实践模式的不同之处.从数据治理效果来看,加强内外双循环模式最好. 但从复杂程度上看,加强内外双循环模式的复杂度也是最高的. 这种模式数据来源较多,若对数据流向缺乏了解,稍有不慎就容易出错,因此,需要对其进行精细的管理才能避免产生错误数据.

表2 数据治理实践模式对比

图5展示了南开大学数据治理在不同阶段的实践效果. 在数据治理前,数据质量水平较低. 在内循环初期,学校数据生产单位配合审核更新数据,数据质量在短期内得到提升,随后在内循环中、后期,由于部分单位配合不够,所以数据质量提升速度有所降低. 在加强内循环初期,根据《南开大学公共数据管理规定(试行)》,各数据生产单位积极配合,数据质量在短期内得到快速提升,随后在加强内循环中期、后期,由于数据生产单位掌握的电子数据有限,存在不掌握相关数据或仅有纸质版数据的问题,所以数据治理提升速度有所降低. 在加强内外双循环初期,师生积极参与数据治理,通过个人数据中心和“一表通”等应用积极参与修正或补充个人相关数据,数据质量短期内得到大幅提升.随后在加强内外双循环中、后期,数据生产单位、数据使用单位与师生个人用户协同配合越来越熟练,数据治理速度趋于平稳,学校数据生态体系逐渐形成,数据质量日益完善.

图5 南开大学数据治理实践效果示意图