在这样的背景下,各银行业金融机构急需发现存在的数据质量问题,针对发现的问题提出数据整改方案,并落实整改方案全面提升EAST数据质量。
1、数据管理模块
●质量规则维护
系统支持用户通过可视化界面配置数据项质量规则,涵盖规则交易表名、类型、校验字段及名称、描述与逻辑校验等要素。
●规则标签管理
系统支持用户以可视化方式维护质量规则标签,该标签可应用于数据校验任务配置及校验结果查看场景,作为筛选条件使用,便于用户依据标签实现灵活的规则分类管理。
●数据校验任务
系统支持用户通过多线程方式执行数据校验任务,当用户发起数据校验请求后,系统自动执行数据准备并统计待校验表的数据量,统计完成后,系统基于多线程方式执行校验处理流程,用户可通过页面实时监控校验进度并同步查看当前执行的具体质量规则。
系统支持校验完成后查看错误信息,并提供执行时间、报错详情查询及结果导出功能。
●数据部门配置
系统支持可视化维护机构部门,用于拆分校验数据;并配置用户相应数据权限。
●总分平衡规则
总分平衡规则维护主要是维护EAST总分核对规则,其中包含对规则的新增、修改、删除、查找等操作。
●总分平衡核对
系统执行总分平衡计算规则,判断指标对应的总账和分户账的金额是否一致。
●跨系统核对规则
跨系统核对规则维护功能主要用于构建EAST系统多维校验体系,涵盖指标汇总校验(含客户风险数据核验)、1104报表指标比对等规则管理,支持规则新增、修订、全生命周期维护及条件筛选等操作。
●跨系统数据核对
跨系统数据核对基于预配置的1104与EAST质量规则执行跨系统表间校验,校验结果持久化存储至数据库,支持用户以EAST及1104报表名称为筛选条件进行结果查询。
●数据脱敏配置
系统支持用户可视化配置报文生成阶段需要进行脱敏的信息。
●报送报文生成
支持用户在线生成需要报送的.txt数据文件和.log的日志文件,同时还支持在线生成检核清单和报送清单。生成的文件直接存放在EAST文件目录下,直接用于EAST数据报送。
●清洗任务维护
系统支持可视化配置数据清洗脚本。
●数据清洗任务
系统支持在执行数据清洗任务,并支持监控执行过程。
●执行脚本维护
系统支持可视化配置数据导入导出的执行脚本。
●报文数据导入
系统支持用户在线将标准报文导入到指定数据库,并可视化监控导入过程。
2、系统管理模块
●用户管理
系统支持可视化维护用户信息,其中包括用户名称、用户姓名、用户有效期、用户拥有角色、用户管辖机构等信息。
●角色管理
系统支持可视化维护角色信息,主要包括角色名称、角色权限等信息。
●数据源管理
系统支持可视化维护远端数据库数据源信息,其中包括数据库地址、数据库驱动类型、用户名、密码等信息。
●菜单管理
系统支持可视化维护菜单信息,主要包括菜单名称、菜单连接地址、菜单对应LOGO。
●机构管理
系统支持可视化维护机构信息,其中包括机构编号、机构名称、机构类型、上级机构等信息。
●公告管理
系统支持可视化维护公告信息,包括公告标题和内容信息。
●字典管理
系统支持可视化维护公共字典信息,其中包括字典组、字典值、字典名称。
3、EAST数据质量治理咨询解决方案
●整体方案
●制度解读方案
制度解读流程
基于我公司咨询类项目培训流程,解读将分解成2个阶段来进行。
1)培训材料准备、评审及发布阶段。
本阶段的核心任务在于系统化构建培训材料体系,并通过定向推送确保参训人员及时获取资料,以便预先掌握培训要点并完成前期筹备。具体工作涵盖:由项目组统筹编制培训所需的纸质及电子文档,包含EAST统计制度介绍PPT、EAST数据报送清单、EAST数据报送要点、数据治理介绍PPT、项目介绍PPT等标准化文件;由行内专业人员对材料内容开展全面评审,并依据评审反馈进行修订完善;最终通过规范化流程将终审材料精准分发至全体参训对象,要求其开展预学习并梳理待解答问题清单。
2)培训组织及开展阶段。
本阶段的核心任务在于组织行内相关人员参与制度解读专项培训,主要工作内容包含:由行内依据项目组制定的培训方案统筹规划参训人员名单、实施时间节点及授课场地等关键信息,并正式发布培训通知;由项目组业务专家围绕监管要求开展EAST最新报送制度专题讲解,实施逐表逐字段的监管指标阐释及核心报送要点剖析;同步设立专项答疑环节,由专家组针对参训人员提出的疑问进行精准化、体系化解答。
解读内容
EAST体系介绍:
从EAST的背景开始,到EAST的用途、更替历史、现状以及组成部分进行详细的介绍。
EAST报送制度详解:
按照EAST的最新要求,分主题(公共信息、会计记账信息、客户信息、授信交易对手信息、卡片信息、信贷管理信息、信用卡、统计全科目、资金业务、理财业务)对报送制度进行解读,逐表分析报送口径,逐字段分析业务含义、技术要求和数据质量要求。
EAST报送要点分析:
依据EAST报送的技术要求规范,对文件格式、文件命名、数据项分隔符与特殊字符处理、空值与默认值处理、隐私保护说明、采集模式等进行详细的分析。
EAST报送常见问题分析:
依据我公司在EAST报送、EAST数据质量专项治理、EAST数据应用、EAST数据质量审核方面多年实施的经验。多常见的数据确实、数据技术标准不满足、数据跨表关联不满足、数据跨期关系不满足等问题进行原因分析和解决方案提出。
项目成果培训:
围绕着本期项目的交付物,包括口径梳理文档、数据质量报告、数据整改方案、EAST相关制度的内容进行说明和解读。
培训形式
培训成果评估
为检验培训的成效和参培人员的接受程度,保障培训的有效性。项目组会在各个阶段的培训结束后对培训效果进行评估。评估的内容主要包括对讲师的评价、对评选内容的评价与意见、对参培人员知识掌握情况的评估、参培人员对培训的建议等。
项目组开展培训成效评价的方式包括但不仅限于以下方式:
●报表口径梳理
现状调研与评估
基于我公司现状评估方法论,现状评估将按照确定评估方案、收集与理解、执行评估三个阶段来开展。本部分的现状调研与评估,主要还是围绕着报送业务现状、报送现状、主要问题类型来进行调研,为后具体问题调研提供基础。
溯源及问题分析
基于江苏金监局对行内EAST数据业务口径、技术口径、行内自身对EAST数据逐表逐字段分析的要求和我公司在EAST专项治理实施方面的经验。本部分的工作按照EAST溯源方案制定、方案执行、成果整理三个阶段来开展。
EAST溯源方案制定阶段,主要任务是确定EAST溯源工作目标、工作方式、工作内容以及记录信息要素等。本阶段的主要工作内容是由项目组提出工作方案,其中包括工作方式、工作模板、交付物清单、交付物模板,由行内审核,项目根据审核意见进行调整,最终确定工作方案。下图所示为EAST溯源工作模板填写要素。 EAST溯源方案执行阶段,本阶段核心任务为严格依据既定方案,对行内EAST数据开展逐表逐字段分析。重点围绕EAST报送制度及江苏局监管要求,分主题实施表级业务口径溯源分析、字段级业务口径溯源及质量评估,最终形成口径梳理成果文档。溯源的材料主要有两个方面:
1)现有EAST加工脚本。ETL工程师将核实现有映射关系及取数逻辑,协同项目组专家、行业务部门验证口径合理性。对合理口径记录映射关系与数据状态,对存疑口径则制定新规则并核查数据质量。
2)调研材料。项目组基于调研问卷及纪要,分析梳理业务归属系统及数据页面,结合行内数据部门调研明确对应数据表及字段。
EAST溯源成果整理,本阶段核心任务是对EAST溯源方案执行成果进行整合梳理,形成标准化EAST溯源及问题分析交付物。依据江苏金监局EAST业务/技术口径文档模板及行内数据表字段梳理规范,完成成果文档整合,经行内审核确认后提交为最终成果。
在开展EAST溯源及问题分析的过程中,有两点内容需要特别说明。
●数据质量分析及整改方案
质量分析
EAST数据质量分析旨在识别并多维剖析数据问题,形成分阶段分主题的质量报告。通过制定并执行分析方案,评估结果并生成多维分析报告。
1)方案制定
项目组基于EAST数据专项治理经验,制定数据质量分析方案,涵盖目标、方法、流程、维度及结果汇总。
方案分阶段制定:前期以整体现状评估为核心;中期聚焦具体数据质量问题分析;后期侧重EAST数据治理成效总结。
项目组采用的数据质量分析方式有:
项目组进场后基于EAST数据质量规则实施全量核查(含空值、长度、数值、范围、关联关系等维度),结合调研开展现状评估。随着口径深化逐步完善质量校验体系,按主题输出专项质量报告。整改阶段持续跟踪改进进度,最终形成质量提升报告及长效分析机制,保障治理成效持续优化。
项目组融合行内历史治理经验,基于完整率、正确率双率评估开展质量校验结果分析。各阶段方案均经行内审核通过后实施。
2)方案执行
EAST数据质量分析通过构建规则引擎实现质量规则自动执行,结合人工复核验证规则有效性。采用分主题迭代推进模式,持续优化规则逻辑,实现规则动态调优。EAST数据质量质量规则主要来源于以下几个方面:
EAST数据校验规则覆盖数据准确性、有效性、一致性、完整性、唯一性等五维质量维度。每条校验规则都明确校验对象、数据表、数据字段、规则来源、归口部门、业务负责人、技术负责人等信息。
质量规则经业务逻辑确认后提交行内评审,进行物理逻辑编写以适应行方不同数据库产品的运行。执行过程中实施人工复核验证执行准确性,基于反馈持续修正逻辑,迭代优化规则体系。
数据质量校验规则依托数据治理平台进行运行,运行的方式为增量数据方式和存量数据方式。运行的结果包括校验数据量、错误数据量等信息。
增量数据方式,为检查新产生的数据质量问题。一般运行周期为每天,检查每天新产生的数据质量问题。通过行内的通讯平台,推送消息给问题责任人,告知其数据错误。
存量数据方式,为检查某一时点前产生的数据质量问题。一般按照数据质量提升考核的周期来制定运行周期,发现存量数据问题的清洗情况。
3)结果汇总
项目组依托数据治理平台和数据质量规则,在项目的前期、中期和后期分别按照不同的方向对数据质量问题进行汇总分析。
「问题发现-靶向治理-长效管控」三阶联动,以数据驱动决策(前期图表定位问题)、以协同推动落地(中期方案精准执行)、以机制保障成效(后期回溯+常态化监控),实现数据质量从治理到自愈的演进。
整改方案
1)整体逻辑
项目组结合EAST报表与源系统数据质量问题,逐表逐字段形成整改方案,涵盖数据补录、系统改造、技术清洗及脚本优化四类措施,并针对存量与增量数据场景差异化设计。整体实施逻辑见下图框架。
2)脚本改造方案
脚本改造方案主要对EAST报表数据取数脚本进行改造,通过对EAST口径的梳理和确认,项目组会发现原有取数脚本存在的问题,可能存在的问题包括但不仅限于业务口径错误、数据转换错误、数据关联错误、筛选条件错误、数据归并错误等问题。项目组会针对具体的问题,给出正确的取数逻辑和取数脚本作为改造方案。
3)技术清洗方案
技术清洗方案是指通过技术加工手段直接修正数据质量缺陷而无需启动数据补录流程或实施系统改造的解决方案,例如针对个人客户性别字段为空或标记为”未知”,但已登记身份证信息时,可通过解析身份证编码规则自动补全性别数据;或针对企业客户注册信息缺失问题,通过对接外部工商登记数据库实现字段智能化补录,从而完善客户基础信息。
技术清洗方案作为存量数据质量治理的优先策略,因其具备快速修复缺陷、高效优化质量的特性,可显著降低时间人力及系统运维成本,最优实施方案为依托源系统后台执行批量数据更新实现底层数据一次性纠偏,虽需审慎评估操作风险,亦可在手动修正数据时,作为正确数据的来源提供出来,或在EAST数据加工阶段实施逻辑修正(此模式仅在报表层面完成数据校准,源系统异常数据未同步更新,故归类为过渡性解决方案)。
4)系统改造方案
系统改造方案是指引业务系统进行优化改造的方案,这类方案往往面向两类内容。第一类:EAST数据需要填报的业务或业务字段,源系统没有相关信息,需要进行信息的新增,从而引起的改造;第二类:业务系统没有对录入数据进行管控,导致录入端脏数据的进入,需要前置数据有效性校验,从而引起的改造。
系统改造方案虽作为增量数据质量治理的最优路径,但因其实施周期冗长且技术复杂性较高,需在可行性评估与成本效益分析基础上审慎决策,通常需同步配套输出标准化数据录入规范以实现治理措施的系统性衔接。
5)数据补录
数据补录方案是错误数据或缺失数据的人工修正方案,方案主要是明确几个内容。
第一:明确补录什么样的数据才是符合要求的、正确的数据;第二:错误数据在什么系统,哪个操作页面进行修正;第三:正确数据可能获取到的渠道建议;第四:明确错误数据应该是由谁进行修正和补录。
●质量提升实施
拟定管理办法
项目组在项目前期就会围绕着数据质量管理、EAST数据报送、EAST数据质量考核制定相应的管理办法和实施细则。以制定的管理办法和实施细则作为质量提升实施的第一步。
1)数据质量管理办法
项目组依据数据治理实施经验,借鉴他行实践经验,制定面向行内和全行业的《数据质量管理办法》和《数据质量管理实施细则》。办法包括数据质量管理的组织和职责、数据质量问题发现、数据治理问题分析、数据质量提升、数据质量校验规则管理、数据质量管理工具、数据质量考核等内容。同时还附带数据质量管理流程、数据质量校验规则管理流程、数据质量校验规则及检核方法模板等信息。
2)数据质量考核管理办法
项目组在参照江苏金监局考核指标基础上,进一步明确细化考核指标、考核规则、现场和非现场检查方式、流程和责任认定等,对各区域数据质量管理进行考核。
考核办法包括总则、组织管理、考核要求、考核内容、考核评分、奖惩办法和EAST数据质量考核评分细则。从多个维度,全面的考察各区域的EAST数据质量情况。
3)EAST数据报送管理办法
项目组拟定面向各区域的《EAST数据报送管理办法》,应明确行内主管部门职责、业务部门职责、产品研发部和信息科技部职责等;数据报送方式;数据安全管理;报送问题处理反馈机制等内容。
制定实施计划
项目组依据出具数据治理问题分析报告、数据整改方案,依据问题改造的难易程度、改造时机、改造的工作量、影响报送的程度,配合着行内的主题治理工作,为问题改造梳理相应的改造顺序,制定数据质量提升计划。
跟踪评价实施成效
项目组在数据质量提升实施工作后,会定期跟踪数据质量提升实施成效。项目组依托数据整治平台,出具逐主题、逐表、逐字段的改造进度,分析改造难度,调整改造方案。按照EAST数据质量考核管理办法,对区域的EAST数据质量提升情况进行打分排名,以此来评价EAST数据质量提升工作开展的成效,各区域EAST数据质量提升工作开展的情况,已达到推动EAST数据质量提升的目标。
4、服务承诺
●服务承诺
■我公司提供EAST数据治理服务,包括不限次数的现场服务和7*24小时热线电话(0512-87818837转888)、远程诊断、电子邮件支持等服务方式。
■我公司保证提供服务内容包括系统的运维、系统升级、EAST数据质量问题咨询等。
■我公司保证指定固定的资深专业工程师提供全面和及时的现场、非现场技术支持与服务。
■我公司保证在维护期内根据系统不同的错误级别提供相应的维护响应服务。在行内提出紧急现场支持请求后立即做出响应,12小时内到达现场。其中:H级(严重)系统死机,应用系统问题造成业务不能处理(交易中断、业务不能持续提交等影响对外服务问题),保证在2小时内解决问题;M级(中级),系统错误不影响业务正常进行,但发生频繁,发生该问题的功能模块经常使用,保证在24小时内解决问题;L级(低级),业务错误不影响业务正常进行,且发生不频繁,如报表统计功能,业务画面字段输入修改等问题,保证在72小时内解决问题。
■我公司保证提供该系统的全面技术培训,包括协助行内对业务人员的培训,使行内技术与业务专家能独立使用完成该系统的日常操作和相关维护等。
■派遣咨询顾问参与项目实施,辅导协助我行业务部门进行相关业务管理制度建设、开展业务培训和业务推广。
■我公司保证免费维护期后有义务在本系统的维护、运行管理和开发方面继续给予用户技术协作和咨询。
■我公司承诺项目组人员需遵守行内的相关工作规范和开发规范,如果有违反则按照行内的规定进行处罚,情节严重的行内有权要求换人。
■我公司承诺对进入行内的人员,行里有权对所提供的人员进行考核,达不到行内要求的将会被无条件要求进行替换。
●服务质量控制
●系统维护服务内容
安装服务
行内需重新安装软件时,我公司在4小时内到达现场提供安装支持服务。我公司须协助行内做好软件安装方案,按照行内的时间要求提交软件安装文档。
升级服务
在软件升级或补丁程序发布后5个工作日内,我公司以《软件升级与补丁通知》书面通知行内,并在5个工作日内免费提供光盘存放的升级程序或补丁程序及说明文本给行内。
我公司负责协助行内测试软件升级或补丁程序,并在测试完成后5个工作日内向行内提交《软件升级与补丁测试报告》。我公司负责协助行内实施软件升级或补丁安装,并在升级完成后10个工作日内向行内提交《软件升级与补丁备忘文档》。
应用变更服务
1)在维护期内,因行内自身需求变更或系统改造等原因,造成本系统增加或修改功能时,我公司提供一定工作量的技术支持服务。
2)每次变更或修改完成后,我公司于程序验收合格并上线成功后的5个工作日内向行内提交《维护服务报告(软件服务)》,该报告须包括维护工作名称、工作内容、实施周期、工作量、实施方案、完成情况等内容。
3)工作流程
错误修正
在对系统的推广和使用过程中,如果出现程序错误,我公司保证在24小时内免费提供故障分析和处理方案,免费提供程序修改、测试验收及程序投产现场支持等服务。
我公司对修改后的程序完成测试后3个工作日内,向行内提交所有修改后的程序源代码、可执行程序、程序配置说明以及《程序修改说明》、《程序上线说明》、《测试报告》等相关文档。
咨询服务
我公司提供7×24小时专人技术咨询服务,提供技术支持。
应急服务
对于系统突发事故的紧急情况,我公司提供本系统故障和出错原因排查的技术支持服务,并提供突发故障排除与突发事件的处理和7×24小时的专人应急服务。
我公司接到行内应急报障后,立即通过电话进行应急响应支持,若30分钟仍无法排除故障,则在4小时内到达行内现场提供技术支持。如故障影响到银行系统生产运行,造成严重生产问题的,我公司保证在接到报障后4小时内提供故障分析和处理方案。我公司保证到场后8小时内恢复行内应用系统的正常运行,故障排除后3个工作日内向行内提交《维护服务报告(应急)》,内容包括:应急处理人员、处理日期、故障现象、原因分析、应急处理措施及效果、建议解决方案等。
如我公司在故障发生后72小时内不能排除故障,行内有权请任何第三方进行解决,由此而产生的一切费用,由我公司根据有效发票支付。
巡检服务
自系统投产上线后,我公司为行内提供本系统每季度一次的现场巡检服务,进行保养性维护。我公司提供的巡检服务内容包括本系统的性能检查、系统保养和日常维护等,要求包括:
重要日期现场支持服务
在维护期内,提供年终决算日、结息日、程序投产日、重要节假日、系统关机维护、机房搬迁以及银行监管单位要求的特殊日期等重要日期的现场支持服务。
支持人员和团队
在项目的维护期内,我司将组建结构合理的专职保修团队,负责在质保期内本系统的技术保障、故障处理和服务响应支持,项目组成员具备丰富的银行业数据报送、数据审核和数据治理开发实施经验: