苏州银丰睿哲信息科技有限公司 / Fri, 25 Jul 2025 05:25:12 +0000 zh-Hans hourly 1 https://wordpress.org/?v=6.8.2 /wp-content/uploads/2025/06/cropped-logo-32x32.png 苏州银丰睿哲信息科技有限公司 / 32 32 香港稳定币监管政策发展历程分析 /index.php/elementor-3596/ Wed, 23 Jul 2025 08:31:31 +0000 /?p=3596 香港稳定币监管政策发展历程分析 一、引言 […]

香港稳定币监管政策发展历程分析最先出现在苏州银丰睿哲信息科技有限公司

]]>

香港稳定币监管政策发展历程分析

一、引言

        在全球数字资产迅猛发展的背景下,稳定币因其兼具数字货币与法定货币的优势,逐渐成为数字经济的关键基础设施。作为国际金融中心,香港在稳定币监管领域采取了“谨慎接纳、逐步试点”的策略路径。本文梳理香港稳定币政策的发展历程,分析其监管逻辑、制度建设与未来趋势。

二、政策发展阶段划分

1、 萌芽探索期(2020 年前后)

  • 背景:数字货币市场扩张,Tether(USDT)等稳定币开始广泛用于交易、跨境汇兑与套利。
  • 监管状态:香港尚无专门针对稳定币的法规,监管机构主要关注比特币等“虚拟资产”的洗钱风险。
  • 主要动作:

            金管局(HKMA)和证监会(SFC)联合发布声明:提醒公众虚拟资产风险,不对稳定币作出明确定义。

2、框架建立期(2021–2022)

  • 市场驱动:DeFi 快速发展、USDT/USDC市值飙升,以及 Terra-LUNA 稳定币崩盘事件引发全球监管关注。
  • 监管响应:2021年11月:《虚拟资产和稳定币的讨论文件》(Discussion Paper on Crypto-assets and Stablecoins)

                         首次提出将“稳定币纳入支付工具监管

                         公开征求意见,反映出高度关注其在支付、清算和货币稳定性方面的潜在影响

                         2022年中:金管局表示将于2023或2024年建立适用于稳定币发行人的合规机制

3、监管筹备期(2023 年)

  • 2023年1月:金管局发布《总结意见文件》,确认以下监管方向:

     先行监管“与法币挂钩的稳定币”(如锚定港元或美元)

     排除“算法稳定币”

      聚焦于“稳定币的发行、治理、储备管理与赎回机制”

  • 政策定位明确:

     稳定币将被视为“储值支付工具”(Stored Value Facilities, SVFs)或新型受监管金融产品

  • 监管目标:

      确保金融稳定

      防止系统性风险

      保障消费者权益

      推动 Web3 合规发展

4、制度成型期(2024 年起)

  • 2024年初:金管局与立法会互动频繁

      表示将于2024–2025 年落地稳定币发行人发牌制度

      拟将稳定币监管纳入《支付系统与储值工具条例》(PSSVFO)或另设新条例

  • 监管重点制度框架:

      稳定币发行人需获得专属牌照

      要求100%法币储备金

      定期审计报告信息披露

      设立即时兑付机制

      必须设立于香港并接受反洗钱监管

三、监管逻辑与核心原则

监管原则

解读

风险为本

优先处理与传统金融高度关联的法币锚定稳定币,控制系统性风险

相同业务、相同监管

稳定币若类似于电子货币或支付工具,则适用相同审慎监管标准

逐步试点、先行后广

先监管特定场景(如支付、跨境汇兑),再扩展至资产代币化场景

促进行业健康发展

提供明确监管路径,吸引合规稳定币机构落户香港

四、对金融与科技产业的影响

 正面影响:

  • 增强香港数字资产中心地位,吸引稳定币机构、Web3企业设立基地
  • 提供法币稳定币合规路径,支持代币支付、RWA(真实世界资产)等创新业务
  • 便利跨境贸易与资金流动,特别是与大湾区、新加坡等经济体的协同发展

 面临挑战:

  • 稳定币与银行存款的关系需厘清,避免“影子银行”风险
  • 跨境稳定币使用场景需协调央行政策,避免资本外流
  • 法律落地尚需时间,短期存在合规与业务操作不确定性

五、未来展望与建议

方向

建议

监管法制建设

尽快完成立法与发牌制度细则,明确适用法规范围

跨境协作

与内地、东南亚及欧美监管机构开展稳定币监管协调

鼓励合规试点

鼓励合规企业开展小范围稳定币支付、结算业务试点

引入央行观察机制

确保稳定币业务不冲击现有货币政策或金融稳定框架

六、结语

        香港在稳定币监管上的策略体现了其“国际金融中心 + 数字资产枢纽”的双重定位。一方面坚持金融稳定与风险防控,另一方面积极引导合规创新。随着稳定币政策制度化落地,香港有望成为亚太首个完成稳定币全流程监管体系构建的司法区。

香港稳定币监管政策发展历程分析最先出现在苏州银丰睿哲信息科技有限公司

]]>
监管报送预审核 /index.php/jgbsysh/ Fri, 20 Jun 2025 02:26:59 +0000 /?p=1478         国家金融监督管理总局和人 […]

监管报送预审核最先出现在苏州银丰睿哲信息科技有限公司

]]>

        国家金融监督管理总局和人民银行近年对相关的监管报送的数据质量要求不断提升,从报文内部逻辑层面到跨系统核验的层面,都加大了日常考核力度,银丰睿哲监管报送预审核系统综合接入金融监督管理局以及人民银行的数据标准,并且增加了行内自定义以及银丰睿哲数据标准团队自研数据标准,全维度对金融机构的监管报送数据进行质量管控,提升监管报送工作成效。

        监管报送预审核系统为我公司自主研发,面向监管标准化数据开发的专业数据审核平台。我公司拥有产品的软件著作权,产品已经在国内多个省市,数百家金融机构投入使用。系统⽀持国内所有类型的银行、保险公司、财务公司、消费金融公司等系统,并且7×24小时提供现场及远程技术支持。

1、产品技术架构图

2、产品技术架构说明

        本系统采用混合式后端架构,整合了主流的SpringBoot框架与国产NUTZ开源框架,二者均具备良好的扩展性,支持微服务以及分布式部署,可适配x86以及arm服务器架构。
        前端采用miniUI+Echarts技术组合,其中miniUI是基于JQuery的专业WEBUI控件库,具有界面简洁、开发高效的特点;Echarts作为主流图表插件,提供丰富的可视化展示方案。系统界面风格可与行内统一开发平台无缝对接,实现底层开发兼容。
        日志管理采用Apache Log4j组件,支持对日志输出内容、格式及存储位置的灵活配置,当前版本可完整记录包括SQL执行详情在内的各类运行日志。
        数据库兼容性方面,系统原生支持DB2 V9.7及以上版本,并全面兼容Oracle各版本及各类信创国产化数据库(例如:GaussDB,GBase,TDH),通过参数化配置实现驱动适配。部署环境支持包括Windows Server全系列版本及各类Linux发行版操作系统。
        这样的技术架构设计带来以下好处:

      系统支持根据行内的个性化需求进行开发,系统交付的文档包括但不仅限于如下清单:

标准化原则

        在数据编码与数据模型构建过程中,严格遵循标准化和规范化原则,所建立的数据结构能够确保数据处理的高效性并支持深度数据分析,同时采用统一稳定的数据应用体系和管理架构。

可扩充性原则

        系统采用的软硬件平台具备良好的可扩展性,能够支持系统规模扩大和业务范围拓展,充分满足未来业务发展需求。在保持整体架构不变的前提下,可便捷地实现系统功能扩展。

开放性原则

        系统建设严格遵循开放标准,充分适应未来业务发展与技术演进需求,在确保系统独立性的同时保持高度可扩展性。除提供标准化开放接口外,还能实现与现有相关系统的无缝对接。

先进性原则

        系统采用的技术架构与实现方法在金融行业具备领先优势,其运行平台完全兼容最新的系统环境。

前瞻性原则

        系统总体架构与软件体系设计需具备前瞻性,融合国际领先金融机构的实践经验构建数据仓库平台技术框架,在确保首期建设目标全面实现的前提下预留架构延展空间,前瞻性兼容业务模式演进与管理机制创新,为新业务与新需求提供扩展和支持。

高效性原则

        系统具备对大规模数据量、大规模数量用户的处理能力,并在大数据量以及大规模数量用户的情况下仍能高效地运行。

稳定性原则

        系统需具备业务峰值期的高效处理能力,并在异常压力环境下保持稳定运行状态。

安全性原则

        系统基于成熟的硬件环境与稳健的应用软件体系,构建完备的备份恢复策略与多层级安全控制机制,通过管理监控和精准故障处理手段,保障系统的安全、稳定。

可维护性原则

        系统配备全景式运行监测与智能控制功能模块,构建全链路运维管理可视化平台,在业务异常场景下可基于日志溯源分析实现故障根因精准定位,同步触发多级自动化预警机制。

模块化原则

        系统采用模块化设计,方便系统后期集成,保证系统模块之间的无缝集成。

完善的培训和升级服务

        系统建设同步实施全周期培训服务体系,针对管理层级、技术职级、操作岗位等多维用户群体,在系统全生命周期(开发部署、联调测试、投产运营)各阶段匹配阶梯式培训方案,确保技术能力与系统效能同步提升。

        监管报送预审核系统基于底层监管报送数据构建管控数据集市,通过整合外部监管标准与内部业务规则对数据集市进行双向校验,最终生成多维度的数据质量监测视图,为行内相关部门提供数据质量评估依据,有效提升监管报送的数据质量。

系统成熟度高

        监管报送预审核系统经过多年持续研发与完善,与监管部门建立了深度合作关系。通过多次项目实践与反馈优化,系统已达到高度成熟,完全符合监管部门在数据监控、信息报送及合规管理等方面的严格要求。与监管机构的协同开发机制确保系统能够及时跟进政策调整,具备快速响应能力,可有效适应新政策法规及市场需求的动态变化。

统一的校验数据库

        监管报送预审核系统集成统一的校验数据库,为所有金融报表及数据提供一站式校验服务,确保数据准确性和一致性,有效杜绝源头数据错误。通过统一管理校验规则,实现数据处理规范化和高效化,显著提升整体数据质量。

统一的监管指标库

        系统通过集中管理各类监管指标构建了统一的监管指标库,全面覆盖金融监管要求,并实时提供数据支持。该指标库使监管部门能够高效获取关键指标数据,实现全方位监控和风险预警。

跨系统立体校验,全方位提升上报数据质量

        系统具备跨系统数据校验能力,可从多维度对各种监管报送数据进行交叉核验。该功能不仅保障了数据的一致性与准确性,还能有效规避各类监管报送系统的口径不一致情况。通过实施全面数据校验,显著提升上报数据质量,确保数据完全符合监管要求。

灵活和准确的异动监测功能

        系统提供高效的异动监测功能,实时识别数据变化及异常波动,包括单家机构及区域汇总机构的各类指标波动都能及时预警并下钻分析其波动原因,有效降低监管报送的差错风险。

系统操作简单、风格简洁、学习成本低

        系统遵循少即是多的设计理念,采用简洁直观的界面设计,配备清晰的操作流程,最大限度降低学习成本,使得用户无需专业培训即可快速掌握使用方法。无论是技术人员还是业务人员均能高效操作系统,同时提供详尽的帮助文档和常见问题解答,有效提升用户操作体验。

用户众多

        该系统已在全国多个省市数百家金融机构成功投产,拥有广泛的用户群体。大量成功案例既验证了系统的可靠性与稳定性,也通过实践应用推动了系统的持续优化。众多用户的反馈与需求促使系统迭代升级,使其更贴合市场需求,从而显著提升了产品的适用性和市场竞争力。

规则优势

1、报表数据导入

        1104报表数据导入支持手工导入或自动引入,用户手工导入需依次选择目标机构、报表日期及报表类型(月报/季报/半年报/年报)以筛选待导入报表。系统支持上传单个Excel文件或Excel压缩包,用户确认导入后,系统将执行导入操作并实时在页面显示处理状态及结果反馈。 

        用户点击查看功能进入报表信息页面后,可浏览报表详细内容。该页面支持双击单元格编辑数据,并允许按照标准模板导出单张或多张报表。

2、报表数据校验

        允许用户选择机构、报表日期和类型进行校验操作,生成可供查询和下载的校验结果。系统执行校验时将同时应用公共库规则和用户自建规则(不包括非admin用户定义的公式)。若所选报表尚未导入,系统将显示提示信息。用户可对校验错误添加备注并提交上级审核,校验通过的报表也可提交上级复核(相关审核记录可在报表审核管理处按权限和管辖机构查询)。所有校验结果均支持导出至Excel格式。
        用户双击校验结果中的任意条目后,系统将跳转至校验详情页面,完整展示该校验涉及的公式内容、相关符号说明以及公式校验未通过的具体原因分析。

        用户点击关联报表即可查看详细报表内容,页面中将明确标注存在错误的公式。点击蓝色标识文本时,系统自动定位至对应单元格并以红色边框高亮显示。当报表处于未提交审核或审核未通过状态时,用户可直接在该页面进行数据修改。

3、补报数据导入

        用户选择目标机构、报表类型(月报/季报/半年报/年报)及12月份的补报日期后,系统将显示待补报的报表清单。用户可选择上传Excel格式的单个文件或压缩包,确认导入后系统将执行补报操作并实时反馈导入状态。

        用户点击查看功能进入补报报表详情页面后,可查阅完整的报表内容。该页面支持通过双击单元格直接修改数据,并允许按照标准模板导出当前报表或批量导出多张报表。

4、补报数据校验

        用户选择机构、补报日期及报表类型后,点击”开始校验”即可生成校验结果,支持查询和下载相关数据。

        用户双击任意校验结果条目后,系统将显示校验详情页面,完整呈现该校验使用的公式定义、相关符号说明以及公式校验未通过的具体原因分析。

        用户点击关联报表后,系统将展示报表详细信息页面。该页面会标注存在错误的公式,当用户点击蓝色标识文本时,页面会自动定位至对应单元格并以红色边框高亮显示。若报表处于未提交审核或审核未通过状态,用户可直接在该页面修改报表数据。

5、校验结果查询

        为用户提供便捷的历史校验结果检索服务,支持通过填报机构、报表日期、报表类型、校验范围和风险等级等多维度条件进行精确查询,所有查询结果均可导出为Excel格式以便后续处理。

6、数据异动监测

        通过用户预设的质量规则,对报表数据的本期值、上期值、去年同期值及年初值等时点指标进行波动范围监测。用户通过选择报表日期和类型即可执行校验并获取结果,支持将异动校验结果导出为Excel文件。执行校验前,系统将自动检查当期报表的导入状态,如未导入则予以提示;若往期报表未导入或模板不符,系统将提示数值获取失败。该功能支持用户查询历史校验结果,并可按报表代码、项目名称、风险等级等条件进行精确筛选。

        在结果页面中,系统将直观展示所有超出设定阈值的波动数据。用户通过双击任意校验结果条目,即可查看详细结果页面,该页面明确呈现异动数据的波动差值及其允许波动范围。此外,用户可通过关联报表功能查阅相关报表的详细信息。

7、异动全表监测

        基于机构预设的质量规则,以完整表格形式呈现数据波动差及波动范围。用户选定监测机构、报表日期、监管频度及目标报表后,执行校验操作即可查看全表波动数据,并支持Excel格式导出监测结果(本功能监管异动监测的机构版本)。

8、质量规则维护

        管理报表校验所需的表内公式,支持用户执行新增、修改、查询及删除操作。系统公共公式由公司统一维护管理,同时允许用户创建并维护个性化的自定义公式。

9、报表模板信息维护

        管理报表模板的各项信息,支持用户对报表模板进行新增、修改、删除和查询操作,同时可对报表版本信息进行相应维护。每年最新的报表版本由公司通过统一更新包进行发布和管理。

10、异动质量规则维护

        管理机构的校验规则,支持用户对公式执行新增、删除、修改、查询及停用操作。

1、EAST首页

        综合数据查询模块整合了四项核心功能,为用户提供高效精准的数据管理服务,确保操作安全可靠。

        授权用户可对数据表执行查询操作,系统支持标准SELECT语句,满足用户个性化检索需求。

        系统设置多级查询限制(100/500/1000/5000/10000条),兼顾各类查询需求与系统性能。
        支持多语句并行查询,默认采用分号(;)分隔,同时允许自定义分隔符以满足不同使用习惯。

        选择数据表
        用户通过点击系统界面中标识清晰的”数据表”选项卡,即可进入专门的数据表操作界面,开展后续数据管理工作。
        该选项卡设计直观,确保用户能够快速定位并使用。

        访问数据信息
        用户选定数据表后,点击”数据信息”按钮即可查看该表完整内容,该按钮位于数据表选项卡或关联菜单中。
        点击后将展示包含所有当期数据的数据表详情界面。

        查看当期数据明细
        在数据信息界面中,系统清晰呈现数据表的当期明细记录,完整展示各条数据的字段内容。
        用户可便捷查看日期、金额、状态等关键字段信息,便于开展数据核对与分析工作。

        访问数据结构配置
        用户通过点击数据表选项卡中的”数据结构”按钮,进入专门的数据表结构管理界面。
        该界面提供全面的结构配置功能,支持用户对数据表结构进行精确的定义与修改。
        关键配置项
        主键标识
        每个数据表必须配置主键字段,该字段用于唯一标识记录,确保数据执行更新或删除操作的精准性。
        未设置主键的数据表将无法执行新增、修改及删除操作,主键的正确设置是保障数据表功能正常运行的必要条件。
        修改标识
        在配置界面中,用户可设定字段的修改权限,仅被标记为可编辑的字段才允许在数据操作过程中进行更新。
        该机制有效防止重要数据被非法篡改,确保数据的完整性与一致性。
        查询标识
        查询标识功能支持用户自定义检索条件,实现高效数据定位。通过预设查询参数,用户可快速从海量数据中筛选出符合特定要求的记录。
        合理配置查询标识可以显著提高数据分析的效率和准确性。
        监管报送预审核系统通过精细化的数据表结构配置,为用户提供高效精准的数据处理工具。该定制化功能在优化用户体验的同时,有效保障了关键数据安全,确保了数据的可靠性和合规性。

        系统通过在数据结构配置中实施权限管控机制,实现了多项高级功能的支持,包括基于条件的查询、数据的新增、修改、导入、导出及删除操作。以下是对这些功能的详细阐述:

用户权限查询步骤

2、EAST数据检核

        保障数据准确性与合规性的核心功能,系统通过多线程技术实现高效校验,显著提升数据处理效率与结果精确度。

        以下是关于系统多线程数据校验功能的详细描述:

多线程数据校验机制

功能意义与优势

校验结果反馈功能

3、质量规则维护

        标准公式与用户自定义公式的管理,有效提升数据处理的灵活性与准确性。

监管具体质量规则分类如下:

4、公式标签维护

        支持公式分类管理及完整的增删改查操作。

5、EAST总分计算

        监管报送预审核系统通过总分平衡计算公式的可视化功能,显著提升了数据处理与校验的效率和透明度。该功能具体实现如下:

6、总分公式维护

        系统提供总分平衡公式的在线可视化维护与自定义功能,确保数据校验兼具灵活性与精确性。

7、清洗脚本维护

        系统提供数据清洗脚本的可视化维护功能,支持用户执行新增、修改、删除及查询操作。

8、EAST数据清洗

        监管报送预审核系统提供可视化脚本清洗界面,实时展示脚本执行进度与日志详情,确保数据清洗过程的可监控性与可管理性。

9、数据加工脚本

        数据加工脚本配置功能支持动态参数替换与执行顺序编排,同时提供任务关联设置,确保用户能够高效管理并执行复杂数据处理流程。

10、数据加工任务

        系统提供灵活的数据加工任务配置功能,支持将多个脚本整合为单一任务,并按预设顺序自动执行,保障数据处理流程的连贯性与一致性。

多脚本配置与执行

11、数据结构配置

        支持表结构引入与权限管理。用户完成配置后,可在EAST首页查看并执行新增操作:选定目标部门后,系统通过数据库连接自动获取表数据完成引入流程。

        监管报送预审核系统通过权限管理功能控制用户对EAST表的操作权限,包括查询、维护及补录权限。权限配置完成后,系统将在EAST首页实时反映配置结果:具备查询权限的用户方可执行条件查询操作,拥有补录权限的用户则允许进行数据增删改查等操作。

12、数据整改下发

        用户可针对部门配置待整改公式及指定处理人员。当EAST当期数据校验异常时,系统可将问题任务下发至对应部门,经整改并审批通过后自动并入EAST数据集。该功能具备以下优势:

提高数据质量

实时反馈与问题定位: 系统在数据校验过程中实时检测并反馈数据质量问题,支持用户快速定位与修正异常。该实时反馈机制有效保障数据时效性与准确性,显著降低人工干预频率。
详细记录与追溯: 系统完整记录每次数据校验的详细过程及结果,包括校验时间、应用公式、执行状态等关键信息。该记录机制支持用户追溯历史校验记录并进行深度分析,有效满足审计合规要求,确保数据处理全流程的透明度与可追溯性。

增强工作责任落实

明确责任分工:系统通过部门与用户的关联配置及规则设定,明确划分各岗位职责范围。当数据异常发生时,可即时将整改任务定向分派至对应部门,确保问题高效处置。
任务审批与确认:整改任务完成后需提交审批流程,审批人员可核查整改数据及处理方案并作出审批决策。审批通过后,系统将合规数据自动并入EAST数据集,该机制有效保障整改质量,防止未经验证的数据进入生产环境。

提升工作效率

自动化处理与优化:系统支持问题任务的自动下发至关联用户,同时提供手动选择规则下发及批量下发功能。该灵活机制显著提升处理效率,有效降低人工操作耗时与成本。
实时监控与进度查看:系统提供下发任务的实时进度监控功能,用户点击任务即可查看问题字段的详细标注信息。该实时跟踪机制确保用户及时掌握任务执行状态,便于进行必要的流程优化与调整。

促进协作与沟通

跨部门协作:系统通过部门-用户关联配置及规则设定,实现跨部门协同处理数据质量问题。该协作机制有效促进信息互通与经验共享,显著提升团队整体问题解决能力。
反馈与改进:系统提供整改反馈功能,支持用户在流程中提交优化建议。该机制有助于持续完善数据校验规则与方法,从而系统性地提升数据处理效率与质量水平。

        通过配置部门与用户的关联关系及相应规则,系统可将存在问题的EAST数据整改任务定向下发至关联用户进行处理。         EAST数据整改下发功能提供自动与手动双模式操作。在手动模式下,用户可点击问题单据选择单个或批量下发问题任务明细,该灵活机制确保数据质量问题得到及时有效处置。

        部门关联用户可查询已下发任务明细,通过点击任务查看问题字段的详细标注信息。该功能确保数据质量问题得到及时处理与整改。

        用户完成整改任务后,可通过提交功能申请审核整改方案及分析结果。审批通过后,系统将合规数据自动并入EAST数据集,确保数据准确性与完整性。

        监管报送预审核系统在接收用户提交的整改方案后,自动进入审核流程。审核人员可全面核查整改数据及处理方案,并作出审批决策。审批通过后,系统将自动把合规数据并入EAST数据集,该机制有效保障数据整改质量与可靠性。

1、报表导入

        报表导入功能作为客户风险数据的系统入口,用户仅需选择报表日期并上传相应文件即可完成数据导入。系统自动记录每次导入操作日志,同时提供报表下载功能实现数据备份。

2、质量规则维护

        采用维护检验客户风险数据的公式,提供公式的新增、修改、删除及查找功能。

3、基础校验

        用于验证客户风险数据是否符合金监局规定的数据格式标准,包括字段非空校验、长度范围核查及内容合规性检查等。系统自动记录校验不通过的异常数据,并支持客户查看详情及导出Excel报告。

4、确定性校验

        主要是一种关系的校验,这种关系或是表内的字段间的关系,亦或是表间之间的关系。而这种关系不仅是业务上的关系,也是金监局对客户风险数据要求的重点。

1、报表导入

        作为客户风险数据的系统接入端口,用户仅需选定报表日期并上传对应文件即可完成数据导入。系统自动记录每次导入操作日志以供追溯,同时提供报表下载功能实现数据备份存储。

2、质量规则维护

        作为为用户提供高效、便捷的管理工具,用于管理客户风险及1104数据校验规则,支持用户执行新增、修改、删除及查询操作,实现校验逻辑的动态维护,确保系统持续符合监管规定与业务需求。

3、校验与结果查询

        依据预设校验规则,对客户风险数据与1104报表指标执行跨系统比对校验,并将完整校验结果存储于数据库。

        用户双击任意校验结果即可查看公式详情页面,直观了解数据合规要求。

1、质量规则维护

        用于管理客户风险数据与EAST系统指标的比对校验规则(重点验证相同指标数值一致性),支持公式的新增、修改、删除及查询操作。

2、校验与结果查询

        系统依据预设的客户风险与EAST校验规则,执行跨系统表间数据校验并记录结果。用户可按表名、字段名及校验日期对校验结果进行筛选查询。

1、1104报表导入

        作为1104报表的系统接入端口,用户可按需选择报表日期及类型(月报/季报/半年报/年报),选定目标文件后执行导入操作,完成数据录入。

        系统支持已导入报表的在线可视化查阅与编辑,并允许导出修改后的报表文件。

2、跨系统公式维护

        提供四项核心功能:规则新增、规则编辑、规则删除及规则状态管理(启用/停用)。该模块支持用户灵活配置核对规则,确保数据校验的准确性与适应性。

3、跨系统检核

        监管报送预审核系统的EAST与1104跨系统核对功能采用多线程任务处理机制,支持用户实时监控数据明细与核对结果,并提供完整运行日志查询。该功能确保了数据处理过程的高效性、完整性和准确性。
        EAST与1104跨系统核对功能通过多线程任务配置显著提升核对效率,该技术实现多个核对任务的并行处理,有效缩短整体处理时长。系统同步提供核对过程的数据信息与结果明细实时展示功能,确保用户及时掌握核对进度并快速识别异常情况。
        系统通过完整的运行日志记录功能保障数据处理的准确性与完整性,该日志详细记载每个核对任务的执行状态、异常情况及处理方案。此项日志管理机制既支持用户实时追踪核对问题,又为系统后续优化提供可靠的数据依据。
        跨系统检核功能支持用户选定目标机构执行数据比对任务,系统自动对比1104报表与EAST报表的对应数据,精确计算并展示数值差异及偏移量。用户通过选择机构与数据日期后触发搜索功能,系统即生成可执行检核任务列表。任务列表中的规则查看功能可供核查检核标准,确保数据比对过程严格遵循既定规则,维护核对结果的一致性与准确性。

1、机构指标分析报表

        用户可自定义关注指标配置,选定报表日期及指标周期后,系统自动生成当期指标数据及其与上期、年初及去年同期数据的对比分析结果。

2、单机构多指标分析

        基于机构指标分析报表功能扩展实现,支持用户对选定时间范围内的多期报表指标进行综合分析。用户仅需配置指标周期、目标指标及起止时间,系统即可生成跨周期的完整指标分析报告。

        系统提供指标分析结果的可视化图表展示功能,用户通过点击图表按钮即可切换至图表分析视图,直观查看各项指标的分析结果。

3、系统指标信息维护

        用于管理分析指标的标准定义,支持指标信息的新增、修改、删除、停用及查询操作,同时提供指标版本维护功能,为指标分析提供基准依据。

4、机构指标数据维护

        为用户提供手动调整指标数据的操作接口,支持快速修改并持久化存储至数据库。

1、[金数]-数据查询

        整合四项核心功能,为用户提供高效精准的数据管理服务,确保操作安全可靠。

        授权用户可对数据表执行查询操作,系统支持标准SELECT语句检索,满足用户个性化数据查询需求。
        系统实施多级查询限制机制(100/500/1000/5000/10000条),在满足多样化查询需求的同时保障系统性能稳定。
        系统支持多语句并行查询功能,默认采用分号(;)作为语句分隔符,同时允许自定义分隔符号以满足不同使用习惯,提升查询灵活性与操作便捷性。

选择数据表
        用户通过点击系统界面中的”数据表”选项卡进入数据表操作界面,开展后续数据管理工作。
        “数据表”选项卡采用直观化设计,确保用户快速定位与高效访问。
访问数据信息
        用户选定目标数据表后,点击位于数据表选项卡或关联菜单中的”数据信息”按钮即可查看详细数据内容。
        点击”数据信息”按钮后,系统将展示数据表详情界面,完整呈现该表的当期全部数据记录。
查看当期数据明细
        数据信息界面完整展示当前周期数据表明细,清晰呈现数据表在当前周期内的具体数据记录,包括各条记录的具体字段值。
        用户可自由查阅日期、金额、状态等关键字段数据,支持数据核对与分析需求。

访问数据结构配置
        用户点击数据表选项卡内的”数据结构”按钮后,系统将跳转至数据表结构配置界面,用于执行结构信息的设置与管理操作。
        该配置界面提供全面的结构定义工具,支持用户对数据表结构进行精确调整与详细配置。
关键配置项
主键标识
        每个数据表必须配置主键字段,该字段作为记录的唯一标识符,确保数据操作的精准定位,执行更新或删除。
        未配置主键的数据表将禁止执行新增、修改及删除操作,主键的正确设置是保障数据表功能正常运行的必要条件。
修改标识
        配置界面支持字段可修改属性设置,仅被授权为可编辑的字段方允许在数据操作过程中执行更新。
        该权限控制机制有效防止重要数据被非法篡改,同时保障数据完整性与一致性。
查询标识
        查询标识功能支持用户自定义检索条件,实现海量数据中的精准定位。通过预设查询参数,用户可快速筛选符合特定要求的记录。
        优化查询标识配置可有效提升数据分析效率与结果精确度。
        监管报送预审核系统通过精细化的数据表结构配置,为用户提供高效精准的数据处理工具。该定制化功能在优化操作体验的同时,强化关键数据保护,确保数据可靠性与监管合规性。

        系统通过数据结构配置中的权限管理机制,实现条件查询、数据新增修改以及导入导出等高级功能。以下是对这些功能的详细阐述:
条件查询支持
精确数据检索
        系统支持基于预设条件的快速数据检索,可设置的检索参数包括日期区间、状态标识及数值范围等,确保查询操作的精准性与高效性。
提高响应效率
        预设查询条件显著降低单次查询处理耗时,有效提升系统整体响应性能,使用户能够及时获取目标数据信息。
增强用户体验
        系统提供的灵活查询功能精准适配各类用户需求,显著提升用户满意度及系统操作体验。
数据操作功能
新增数据
        系统授权用户可在数据表中执行记录新增操作,该功能是保持数据更新与扩充数据集的重要部分。
修改数据
        具备编辑权限的数据字段允许修改,该功能对错误修正、信息更新及业务变更反映具有关键作用。
数据导入
        系统支持外部数据批量导入功能,显著简化海量数据处理流程,有效提升数据录入效率。
数据导出
        系统支持将数据表内容导出为标准格式文件(如Excel/CSV),便于后续数据分析与报告生成。

删除数据
        授权用户可删除冗余或异常数据记录,确保数据表内容的准确性与规范性。

用户权限查询步骤
        用户通过点击系统界面显著位置的”数据查询”选项卡进行快速访问,启动权限查询流程。
        “数据查询”选项卡界面集成多项功能按钮与选项,专为优化用户数据操作体验而设计。
        用户点击“数据查询”选项卡右侧的”权限列表”按钮后,系统将显示用户权限详情界面。
        “权限列表”按钮采用直观且易于识别设计,确保用户快速定位与操作,便于权限配置管理。
        点击”权限列表”按钮后,系统将自动跳转至权限查询界面,在此页面中将完整的展示用户当前权限配置,包括但不限于数据查询、数据修改及数据导出等操作权限。
        权限查询界面明确展示用户对各数据表的操作权限明细,包括读取、写入及修改等访问级别。同时支持用户在授权范围内自主调整特定权限,以满足差异化工作需求与安全规范。

2、[金数]-数据检核

        作为保障数据准确性与合规性的核心功能,通过多线程技术实现高效校验,显著提升数据处理效率与结果精确度。

        以下是关于系统多线程数据校验功能的详细描述:
多线程数据校验机制
多线程处理
        系统通过多线程技术实现并行数据校验,可同步执行多个校验任务,显著提升处理效率,特别是在海量数据场景下能有效降低等待处理时间。
        各校验线程独立运行指定任务,线程间保持完全隔离,既确保校验过程稳定可靠,又维持高效处理性能。
实时监控与反馈
        数据校验执行期间,系统实时展示当前运行的质量规则,确保用户清晰掌握校验逻辑与执行进度。
        系统提供校验进度的实时可视化监控,用户可准确掌握各校验任务的执行状态与完成情况,便于及时了解整体校验进展。
提高效率
        系统采用多线程并行校验机制,高效完成海量数据校验任务,显著提升整体工作效率。
        数据准确性作为金融机构的核心要素,直接决定业务报告的真实性与可靠性,高效精准的数据校验成为保障业务连续运营和监管合规的关键环节。
增强透明度
        系统提供质量规则与执行进度的实时可视化功能,显著提升校验过程透明度,既增强用户对校验结果的信任度,又支持快速识别与修正潜在问题。
        该透明化机制有效强化金融机构的内控体系与审计追踪能力,提供更为完善的内控工具。

校验结果反馈功能
查看错误情况
        校验任务完成后,系统自动呈现全部异常数据明细,包括数据不一致、字段缺失及格式错误等问题,支持用户快速定位与处理。
        系统通过可视化界面实时展示错误数据详情,使用户能够直观识别问题项并立即执行相应修正操作。
查看校验执行时间
        系统提供校验任务执行时间的完整记录功能,支持用户准确评估任务执行效率与性能表现。

        针对高频执行的校验任务,掌握其执行耗时数据可有效优化处理流程,缩短等待时长,从而显著提升整体工作效率。
查看校验执行报错信息
        数据校验过程中,系统自动记录技术异常与详细报错信息,为问题诊断与系统优化提供关键依据。
        系统提供的完整报错日志支持用户快速定位故障点并执行精准修复操作。
导出校验结果
        系统支持将完整校验结果导出为标准格式报告(如PDF等),便于执行归档管理与审计查阅。
        导出的校验结果报告完整包含异常明细、执行耗时及报错信息,为用户提供全面的校验结果汇总。

3、[金数]-检核规则维护

        支持可视化维护质量规则和用户自定义质量规则,提高数据处理的灵活性和准确性。

4、[金数]-公式标签维护

        提供可视化操作界面,支持质量规则标签的分类管理及完整的增删改查操作。

5、[金数]-数据加工脚本

        支持动态参数替换与执行顺序编排,并提供任务关联设置,实现复杂数据处理流程的灵活管理与高效执行。

6、[金数]-数据加工任务

        支持多脚本任务集成,按预设执行顺序自动运行,保障数据处理流程的连贯性与数据一致性。

多脚本配置与执行:

动态参数配置
        系统提供数据脚本的动态参数配置功能,用户可根据实际业务需求灵活调整执行参数,确保数据处理流程适配多样化业务场景与数据环境。

         该功能支持通过动态参数配置实现脚本逻辑的跨数据集复用,显著提升数据处理效率与结果准确性。

顺序执行与依赖管理
        用户可基于业务需求配置数据脚本执行顺序及依赖关系,系统自动按设定逻辑调度任务执行,保障数据处理流程的准确性与完整性。
        系统严格遵循依赖脚本的顺序执行机制,在前序脚本完成后方启动后续脚本,有效防止数据不一致风险。

实时进度查看与日志信息
        系统提供任务进度的实时监控功能,支持用户随时查看各脚本的执行状态、耗时及异常详情等完整运行信息。
        系统提供的完整日志记录支持用户快速定位数据处理异常并执行精准修正,显著提升问题处理效率与结果可靠性。

7、[金数]-数据结构配置

        专用于金融基础表结构的管理,支持表结构引入与权限控制配置。用户完成设置后,可通过数据查询模块查看配置结果:选择目标部门并基于数据库连接信息执行表数据引入操作。

        监管报送预审核系统通过权限管理模块配置用户对金数表的操作权限,包括查询、维护及补录权限。权限生效后,系统在[金数]-数据查询界面实时反映配置结果:具备查询权限的用户可执行条件检索,拥有补录权限的用户可进行数据增删改查操作。

1、大集中报表导入

        此功能是大集中报表进入系统的接口。支持用户按需选择报表日期及类型(月报第一批次/第二批次、季报第一批次/第二批次、年报),通过文件选择与导入操作完成数据录入。

        系统支持已导入报表的在线可视化查阅与编辑,并允许导出更新后的报表文件。

2、跨系统公式维护

        提供四项核心管理功能:规则新增、规则编辑、规则删除及规则状态管理(启用/停用),支持用户灵活配置核对规则,保障数据校验的精确性与适应性。

3、跨系统检核任务

        采用多线程任务处理机制,支持用户实时监控数据明细、核对结果及完整运行日志,全面保障数据处理的高效性、完整性与准确性。
        金融基础与大集中报表跨系统核对功能通过多线程任务配置显著提升核对效率,该技术实现多个核对任务的并行处理,有效缩短整体处理时长。系统同步提供核对数据的实时展示功能,确保用户及时掌握核对进度并快速识别异常情况。
        系统通过完整的运行日志记录保障数据处理的准确性与完整性,详细记载每个核对任务的执行状态、异常详情及处理措施。该日志管理机制既支持用户实时追踪核对问题,又为系统优化提供可靠的数据依据。
        跨系统检核功能支持用户选定目标机构执行数据比对,系统自动对比大集中报表与金融基础数据,精确计算并展示数值差异及偏移量。用户通过选择机构与数据日期触发搜索功能后,系统生成可执行检核任务列表,任务规则查看功能可供核查检核标准,确保数据比对过程严格遵循既定规则,维护核对结果的一致性与准确性。

1、报表导入

        将人行大集中不同类型的报表导入系统,涉及的报文如下:

        用户需选定报表日期及类型(月报一批/二批、季报一批/二批、年报),随后选择待导入文件(支持多Excel文件压缩包或单文件)并执行导入操作。系统提供可选匹配模式:启用时强制校验文件名合规性,禁用时无此限制。

2、报表校验

        报表导入完成后,用户可进入报表数据校验页面,通过选择机构、报表日期、类型及校验范围后执行校验操作。系统自动生成校验结果并提供查询下载服务。针对校验异常,用户可查看具体问题详情与关联报表,系统支持问题单元格精确定位。对存疑问题,用户可填写备注说明并提交审核流程。

        用户双击任意校验结果条目即可查看详情页面,系统将完整展示该校验的详细执行情况。

        报表校验结果详情页面中,用户点击关联报表可查看相关数据内容。对于问题数据,支持直接修改(审核流程中的报表除外),修改操作按机构→市→省→全国层级自动联动更新。当修改后校验无异常时,可下载报表用于上报。

3、校验结果查询

        系统根据人行官方以及用户自定义的异动检验公式,对本期报表的指标和上期做波动范围和波动差的监测。用户选择报表的日期、类型和校验频度,即可进行校验并查看结果和查看,与报表数据校验类似,异动检测出来的结果也可以查看具体的校验结果明细,并对报表进行修改,在这个页面中,用户也可以查询到往期校验的结果。

4、报表异动监测

        系统根据人行官方以及用户自定义的异动检验公式,对当期与上期报表指标进行波动范围及波动差监测。用户通过选择报表日期、类型与校验频度执行校验后,可查看完整结果明细,同报表数据校验,异动检测出来的结果也可以查看具体的校验结果明细,并支持报表修改操作。该页面同时提供往期校验结果查询功能。

5、报表审核管理

        填报员角色可查看已提交审核的进度状态,审核员角色具备审核操作权限。填报员双击存在校验问题的审核条目可查看详细错误信息及备注。审核员可执行审核通过或退回操作(退回时将问题返回填报员)。

6、报表数据汇总

        系统支持机构级大集中报表的手动导入,并自动实现市、省、全国三级报表的智能汇总。用户可灵活选择以下汇总方式:
        指定机构与目标汇总机构进行手动生成
        仅选择报表日期与类型,触发全自动三级汇总流程

7、上报报文管理

        系统支持两种报文生成模式:用户可针对单个机构选择报表日期与类型生成独立报文;或仅指定报表日期与类型,由系统自动生成全部通过审核流程的合规报表报送报文。未通过审核的报表将被排除在生成范围之外。

8、质量规则维护

        支持用户对校验规则进行动态维护与管理,包括新增业务适配公式、优化现有校验逻辑、快速查询目标公式、清理无效规则及停用非活跃公式等操作,实现规则库的持续优化与版本控制,有效提升校验精准度与业务适应能力。

9、异动公式维护

        支持用户执行新增、修改、删除、查询及停用等操作,并具备批量生成异动质量规则的功能,便于在大规模数据处理场景中高效完成配置与调整。该功能实现了对数据变化的实时全面监控,同时显著提升了操作效率与系统灵活性。

10、报表模板维护

        用于管理报表模板的各类操作,包括报表信息的新增、修改、删除、查询,以及报表版本信息的新增、修改和删除等。

12、与1104进行立体校验

        “1104与大集中校验->质量规则维护”页面中,用户可以新增1104与大集中的跨系统校验规则:

        “1104与大集中校验->校验与结果查询”页面中,用户可以指定校验机构,报表日期、校验类型,点击“开始校验”,即可对大集中和1104进行立体校验:

1、报表数据导入

        将月度和季度的XML格式的PISA报文导入系统,涉及的报文如下。

        在报文导入功能中,用户可通过查询界面检索相关报表数据,支持按日期、频度和地区等关键参数进行筛选查询。

2、报表数据查看

        用户可通过报送区域、所属部门、报表日期及频度等维度条件,查询筛选对应的PISA报表数据。

        用户点击查看按钮,系统会以表格形式展示PISA报表详情,如下图所示:

        用户可以双击单元格进行数据修改详情页面,如下图所示:

3、报表数据校验

        该系统支持按上报地区、报表日期及频度等关键条件执行精准校验,并实时反馈校验结果。如发现数据异常,用户可直接点击错误提示查看具体错误明细,快速定位问题根源。同时,系统提供关联报表的联动查看功能,辅助用户进行深度分析和问题排查。这种智能化的交互反馈机制显著提升了系统的易用性和数据质控效率。
        点击校验结果,可进入详情页面:

        校验结果详情页面中,用户可以查看质量规则,点击公式中蓝色部分可以直接定位到公式中涉及的单元格,也可以对单元格数据进行修改:

4、反馈信息导入

        用户可以将人行反馈的EXCEL文档导入到系统中进行流程处理:

5、反馈信息管理

        系统将反馈信息按预设的PISA报表部门配置自动分发至对应部门。部门用户可对接收的反馈信息添加处理意见并提交。审核界面集中展示各部门提交的处理意见,支持审核人员批量审批操作。审批结果分为审核通过与审核不通过两种状态。待全部审批通过后,系统支持将最终反馈信息导出并直接报送至人行。

6、上报报文管理

        用户可通过选择机构、报表日期及频度等参数生成报送报文。为提升操作便捷性,系统支持仅选择报表日期即可触发报文生成流程。生成的压缩文件采用嵌套结构,包含指定日期下所有待报送的报文数据包。

7、校验规则维护

        此功能包含PISA公式的新增、修改、查看、删除、停用等操作:
        新增:用户可根据需求创建新的PISA公式,并根据实际业务场景灵活配置公式内容。
        修改:对于已存在的PISA公式,用户可以进行调整和更新,以确保公式始终符合最 新的业务要求和校验规则。
        查看:用户可以查看已存储的PISA公式,了解其配置细节和相关的应用场景。
        删除:不再需要的PISA公式可以通过删除操作移除,确保系统中的公式始终保持最新且整洁。
        停用:对于暂时不使用但可能需要未来启用的公式,用户可以通过停用功能进行管理,避免删除带来的数据遗失。

8、主表信息维护

        该系统提供完整的PISA报表管理功能,支持用户执行新增、修改、编辑及删除等操作,实现报表内容的灵活维护。系统具备自动解析报表中指标信息的能力,可自动提取报表指标数据并同步至数据库,有效保障数据的准确性与一致性。该功能显著提升了报表处理的自动化程度,在降低人工操作风险的同时,大幅提高了数据采集与存储的工作效率。

9、指标信息维护

        用户可以灵活地对PISA报文中的指标进行修改,确保报文内容始终符合最新的业务要求。

10、报表所属机构配置

        用户可以灵活地管理报表所属机构的配置信息,具体功能包括:
        新增:用户可依据业务需求新增机构配置,并关联指定报表范围,从而明确报表的所属关系,为后续审批流程及系统管理建立规范的架构基础。
        修改:用户可对现有机构配置进行编辑,包括调整报表机构归属关系及更新相关配置参数。
        查找:用户可以查询和检索机构配置信息,快速查看各报表与机构的对应关系。
        删除:用户可删除冗余的机构配置信息,确保系统数据结构的精简与一致性维护。

1、报文导入

        将18个利率报备XML报文导入系统,涉及的报文如下。

        用户首先选定报送机构、填报日期及报表类型;随后通过”浏览”按钮选取待导入的单个报文文件或压缩包文件;最终点击”导入”按钮即可完成指定报文的系统导入。

        报文导入成功后,点击“查看”可以用excel报表格式查看相应的报表数据:

2、报文校验

        选择机构、报表日期、报表类型,点击“开始校验”,则系统自动校验并且展示校验结果:

        双击某条错误信息,则弹出明细窗口:

        点击“关联报表”中的报表名称,可以定位具体的错误单元格:

3、报表模板信息维护

       系统完整展示所有利率报备报文清单。用户选定目标报文并点击编辑功能按钮后,即可查阅该报文的历史版本变更记录。

       点击某个版本后的“编辑”按钮,可以编辑此版本的详细配置信息:

4、质量规则维护

        系统会完整展示当前所有利率报备校验规则。用户可对既有规则执行编辑或删除操作,同时支持新增自定义校验规则。

5、导出上报报文

        用户可以指定机构、报备日期、报备类型,点击“报文生成”即可生成上报人民银行的压缩包文件:

6、异动质量规则维护

        主要完成对数据异动监测的公式的新增、修改、删除、查询操作。

7.1、系统管理模块-用户管理

        系统支持可视化维护用户信息,其中包括用户名称、用户姓名、用户有效期、用户拥有角色、用户管辖机构等信息。

7.2、系统管理模块-角色管理

        系统支持可视化维护角色信息,主要包括角色名称、角色权限等信息。

7.3、系统管理模块-数据源管理

        系统支持可视化维护远端数据库数据源信息,其中包括数据库地址、数据库驱动类型、用户名、密码等信息。

7.4、系统管理模块-菜单管理

       系统支持可视化维护菜单信息,主要包括菜单名称、菜单连接地址、菜单对应LOGO。

7.5、系统管理模块-机构管理

        系统支持可视化维护机构信息,其中包括机构编号、机构名称、机构类型、上级机构等信息。

7.6、系统管理模块-公告管理

        系统支持可视化维护公告信息,包括公告标题和内容信息。

7.7、系统管理模块-字典管理

        系统支持可视化维护公共字典信息,其中包括字典组、字典值、字典名称。

1、征信报文模板维护

        维护征信的各个报文的模板信息:

2、征信报文导入

        导入征信的报文:

3、征信报文查看

        筛选文件种类、数据相关日期、反馈标志、报文导入日期等条件进行报文的检索与查看:

4、校验规则维护

        对系统的征信校验规则进行查看、编辑、修改等操作:

5、两端核对规则维护

        对系统的两端核对规则进行查看、编辑、修改等操作:

6、报文校验

        选择报文日期、表名称,点击“开始校验”,系统则自动校验生成校验结果信息:

7、两端核对

        选择某个规则,点击右侧的“生成文件”按钮,则可以生成两端核对需要的文件:

1、报文导出

        打开理财与资金信托数据报送系统,选择:报文管理-》产品信息文件报送,界面如下:

        在列表界面中,用户可根据文件”类型”(含产品基本信息、产品终止信息、资产池基本信息及资产池终止信息)、产品或资产池”代码”与”名称”以及”报送状态”等条件进行综合查询。该列表全面整合了通过数据录入和文件导入两种方式获取的所有产品及资产池相关信息。
        在列表界面中,用户可选定目标产品或资产池记录,通过点击”导出”功能按钮,将产品或资产池的相关信息导出至本地指定存储路径,见下图:

        系统默认导出标识码为PPI的ZIP压缩文件,该压缩包仅包含所选数据类型对应的有效数据文件,其余未选数据文件将保持为空。以资产池基本信息类型为例:当用户选择该类型时,导出包中仅PPB1.dat文件包含实际数据,而PIB1.dat、PIB2.dat、PIE1.dat、PPE1.dat等未选类型的对应文件均为空文件。

2、报文导入与解析

        将导出的报文(zip压缩包格式)按照填报日期,导入校验系统:

        根据人民银行理财与资金信托统计监测管理系统报文接口规范,我们将导入的报文数据依照以下的规范进行解析:

3、校验规则

        我们会配合行内梳理理财与资金信托数据相关的校验规则,校验规则易读易改,方便行内维护校验规则:

        校验规则可以设置容忍度,以避免一些小额的偏差。
        校验规则可以设置生效与失效日期。
        校验规则可以由管理员设置成启用或者停用状态。

4、校验结果

        系统的校验结果以详尽的方式进行展示,以方便用户对报文进行更改:

        用户可以双击打开报文,直接对报文内错误的单元格进行修正。

5、报文生成

        用户根据校验结果对报文进行修正之后,系统可以直接生成上报人行的报文:

1、报文导出

        用户选择需要导入的文件,点击“导入”即可导入报文数据:

        选择机构、报表日期、文件种类,点击“查询”,可以查看已经导入的数据:

2、质量规则维护

        用户可以对质量规则进行修改、新增、删除等操作:

3、存款汇总配置

       用户可以对存款的汇总规则以及核对的大集中报表对象进行修改、新增、删除等操作:

4、贷款汇总配置

        用户可以对贷款的汇总规则以及核对的大集中报表对象进行修改、新增、删除等操作:

5、数据规范校验

        用户可以对基础报文进行数据规范的校验:

6、存贷款汇总校验

        用户可以对报文的存贷款数额进行汇总,然后与大集中报文进行立体校验:

7、报文数据生成

        用户可以对修改之后的报文进行导出操作,导出的报文可以直接上报人民银行:

1、基础公式维护

        该功能主要是对金融基础数据基础校验的规则的维护工作,可输入不同的条件进行筛选查询,提供新增、编辑、删除和停用功能。

        规则主要包含有:规则的表名、校验规则的字段及校验规则的字段名字和规则内容。

2、数据基础校验

        该功能是对金融基础数据校验,选择对应的条件对当期时间的数据进行校验,显示以表为单位进行分类显示。

        金融基础明细数据:用户可通过双击报表校验条目查看详细校验结果,包括各规则对应的校验数据明细、涉及数据总量统计,并支持重新执行校验操作。系统同时提供校验结果导出功能,且允许通过单击单条规则查看其关联的完整明细数据。

3、跨系统公式维护

        该功能模块专用于维护金融基础数据与大集中数据间的关联校验规则,支持通过表名及公式状态进行查询筛选,并提供规则的新增、编辑、删除与停用等功能。

        跨系统规则主要内容:金融 基础数据部分有规则的表名、取数的规则、取数的解释及校验规则运算符,大集中部分主要包括校验表名、取数规则、取数解释及校验规则类型,及共有的规则的描述。

4、跨系统数据核对

        该功能主要用于执行金融基础数据与大集中系统的数据校验。用户可选定目标机构及相应日期发起校验流程,若校验未通过,系统将自动呈现错误数据明细并计算数据差异值,同时支持通过双击操作查看具体错误条目关联的校验规则详细信息。

5、数据信息配置

        用于给金融基础数据机构配置数据源,所配置数据库地址为金融基础数据模块数据检核等功能的数据源,提供了数据源的新增、编辑和删除。

1.1、数据自动入库-数据生成日志

        记录t+1数据自动跑批日志。

      用户可以点击分步执行,挑选跑批出错的继续重新跑批。

1.2、数据自动入库-导入数据表配置

        自动跑批相关配置,配置文件名与表名的映射、生成每个分片的最大数据条数、当前数据以及历史数据的查询sql、生成报文的顺序、以及该表数据是否上报。

1.3、数据自动入库-数据处理任务

        配置t+1跑批时将当前库中的校验结果数据到历史库中,配置执行的sql语句。

1.4、数据自动入库-历史数据入库语句

         跑t+1数据时,将当前库中的表数据都存到历史表中的相关配置语句。

2.1、数据管理(当前)-数据信息查看

        展示当前数据表信息。

        通过点击”查看”功能可展示当前数据表的完整记录列表,”上传Excel”功能支持批量数据导入,同时提供数据导出能力。系统会根据预设字段属性的配置规则,在页面中以差异化颜色标识展示各类数据。

        点击新增按钮用户可以单独新增一条数据。

2.2、数据管理(当前)-数据校验查看

        展示根据规则校验出来的数据情况列表。

2.3、数据管理(当前)-质量规则维护

        包含参与上报判断选项:当启用时,仅校验无误的数据允许上报;若选择忽略,则即使存在校验错误仍可继续上报流程。

2.4、数据管理(当前)-数据结构维护

        配展示当前模式名下的所有表信息。

        用户可通过输入模式名称并选择自动导入功能,系统将完整展示该模式下的所有数据表结构信息。

        点击查看按钮展示该表的所有字段信息,可以设置每个字段的属性值。

2.5、数据管理(当前)-数据校验任务

        展示多线程校验列表页面,可以选择是全表校验还是多表校验、以及校验类型、校验日期。

3.1、数据管理(历史)-历史数据查看

        展示历史数据表信息。

        通过点击查看功能可完整展示当前数据表的全部记录列表,同时支持通过Excel上传实现批量数据导入以及数据导出操作。系统将根据预设字段属性的配置要求,在页面中以不同颜色标识进行差异化显示。        点击新增按钮用户可以单独新增一条数据。

3.2、数据管理(历史)-数据结构维护

        用户输入模式名称并启用自动导入功能后,系统将完整呈现该数据库模式下的全部表结构信息。

      点击查看按钮展示该表的所有字段信息,可以设置每个字段的属性值。

3.3、数据管理(历史)-质量规则维护

        在配置数据质量规则规则时,可设置是否将校验结果作为上报条件:当启用该选项时,仅允许校验通过的数据进行上报;若忽略,则即使存在校验错误仍可继续上报流程。

3.4、数据管理(历史)-数据校验查看

        展示根据规则校验出来的数据情况列表。

3.5、数据管理(历史)-数据校验任务

        展示多线程校验列表页面,可以选择是全表校验还是多表校验、以及校验类型、校验日期。

3.6、数据管理(历史)-导入历史库

        手动将当前表中数据导入到历史表中。

        选择要导入的历史表,点击执行按钮,开始执行任务。

4.1、报文上报管理-报文上报查询

        展示上报银行自动上报任务列表信息,可以下载上报的报文、查看上报的日志信息以及上报状态。

        通过双击操作可查看各数据分片的上报状态,对于上报失败的情况,用户可选择执行重新上报、查阅驳回意见或进行强制提交等后续操作。

4.2、报文上报管理-手动上传报文

        可以选择日期,选择上报村镇银行进行手动上报报文。

4.3、报文上报管理-手动生成报文

        展示手动生成报文的列表,可以下载手动生成的报文以及将该日期的上报记录推送到报文上报记录表中。

        点击手动生成报文,选择金融机构、上报的数据日期、需要生成的数据表。

5.1、清算资金-绑定机构

将需要上报的金融机构信息绑定到人行系统中。

5.2、清算资金-解绑证书

        将金融机构信息绑定到数字签名服务器中。

5.3、清算资金-下载证书

下载绑定证书的数字签名域。

5.4、清算资金-手动上传报文

        选择日期,手动生成txt报文上传到人行。

5.5、清算资金-上报日期管理

手动配置上报日期列表。

5.6、清算资金-报文上报查询

        查看当前上报列表信息,可以查看日志信息,如果失败修改数据后可以选择重新上报。

1.1、数据导入模块-运行详情查看

        该功能模块用于查看数据导入程序的运行情况,并对运行出问题的导入程序进行手动执行或者分步骤执行。

1.2、数据导入模块-导入数据配置

        配置需要导入的表信息,以及对应的数据文件名称。用来为数据导入任务提供相关的映射信息。

2.1、数据管理模块-数据信息查看

        可以通过菜单中的表格信息,查看对应表格中的数据信息,并提供数据的下载操作。

2.2、数据管理模块-补录数据整合

        将列表中的主表与其对应的补录表的信息进行合并,合并结果会将补录表中的数据覆盖更新至主表的对应数据项当中。

2.3、数据管理模块-数据结构维护

        该功能可以导入对应Schema中的表结构信息至本地库中,方便对表信息进行查看。可以手动修改本地库中对应的表结构信息。

2.4、数据管理模块-数据权限管理

        管理员设置用户对于需要管理数据的表格的相关权限信息,包括查看数据等权限。

2.5、数据管理模块-同一存款人信息查询

        同一存款人相关信息查询的功能。主要满足存款保险报送过程中,同一存款人在不同上报表中的所有对应信息的查询。

3.1、数据校验模块-数据集白名单

        对数据校验中存在的问题数据设置白名单提醒,帮助用户在查看问题数据时,忽略无关的错误数据,有针对性的查看需要整改的问题数据。

3.2、数据校验模块-表内校验查看

        查看针对单个表数据的校验结果,该功能可以清楚的查看问题数据,并且可以对有问题的校验进行重新校验,方便更正校验信息和问题数据。

3.3、数据校验模块-表内质量规则

        此功能为单个表内相关数据校验提供公式基础,用户可以在此功能中根据具体需求设置对应字段的质量规则并且规定公式是否处于使用中。

3.4、数据校验模块-表内校验任务

        执行表内质量规则,查看对应的校验任务的执行情况,运行规则总数,已完成规则总数等。可以查看历史的校验任务执行情况记录,方便用户管理历史规则运行情况。

3.5、数据校验模块-行内质量规则

        针对多行与单行数据进行比对的校验规则的制订,展示校验规则的相关信息。

3.6、数据校验模块-行内校验执行

        运行行内校验规则,展示相关校验结果信息。

3.7、数据校验模块-报文文件生成

        配置存款保险上报的报文信息,为报文的生成提供依据,使得生成的报文满足人行的报送要求。

3.8、数据校验模块-上传报送文件

       该功能模块是对生成的报文文件进行管理,查询文件上传状态、执行文件删除与重命名等操作,其核心功能在于将生成的报文文件按照业务规范上传至指定目标位置。

监管报送预审核最先出现在苏州银丰睿哲信息科技有限公司

]]>
一表通全栈解决方案 /index.php/ybt/ Tue, 17 Jun 2025 08:43:49 +0000 /?p=1137           为贯彻总体国家安全观 […]

一表通全栈解决方案最先出现在苏州银丰睿哲信息科技有限公司

]]>
 

        为贯彻总体国家安全观,提升金融风险防控能力,国家金融监督管理总局近年来持续加强现代金融监管体系建设,着力提升金融监管的数据化、标准化和智能化水平。在金融科技快速发展与数据要素重要性日益凸显的背景下,监管部门着手推动构建统一的监管数据标准体系,以打破金融机构间的数据壁垒,实现宏观、中观、微观数据的全流程贯通式监管。

过去,金融监管中普遍存在数据来源分散、标准不统一、口径不清晰等问题,严重制约了监管效能与数据价值的发挥。为解决这些问题,监管部门于2021年启动“一表通”制度试点,发布了《银行一表通监管数据标准(试点版)》,在部分银行和地方监管局开展了前期试点工作。该标准以统一接口标准和数据取数规则为核心,初步搭建了面向未来监管数据体系的基础框架。

2025年5月19日,国家金融监督管理总局正式印发《关于做好银行机构监管报表“一表通”工作的通知》(金发〔2025〕20号),标志着一表通制度在试点基础上正式转向全国全面推广阶段。通知明确要求监管系统及全国银行机构全面推进一表通工作,构建覆盖全行、统一标准、规范口径的监管数据采集与报送机制。这一制度变革,旨在推动监管与数据深度融合,提升“五大监管”能力,实现更加科学、实时、精准的风险识别与防控。

一表通作为新一代监管数据基础设施,采用“统一标准、统一采集、统一传输、统一审核”的建设思路,打通监管数据从源头采集到最终报送的全流程链路。通过明细数据与监管指标的双维集成,一表通支持对金融机构业务数据进行结构化、指标化、穿透式治理,构建更加精细、透明的监管数据生态。系统还支持与监管端数据平台对接,实现查询、任务、通知、同步等服务交互能力,进一步提升监管部门的数据调用效率和穿透监管能力。

在监管部署落地过程中,金融机构需同步提升数据质量管理、系统对接能力及组织协同效率。为此,苏州银丰睿哲信息科技有限公司积极响应政策号召,基于自身在金融数据服务领域的深厚积累,推出了“一表通全栈解决方案”。该方案紧密围绕《监管数据标准》要求,提供涵盖数据采集、标准转换、预审核、质量校验、报文生成、系统联调、可信区部署等全流程服务,助力金融机构构建合规、高效、可持续的数据治理体系。

一表通的推行,不仅是一次监管制度层面的变革,更是金融机构转型升级的重大机遇。通过对一表通标准的深入落实,金融机构将实现从“被动报送”向“主动治理”转变,从而提升数据治理能力、风险识别能力和数字化管理水平,为构建现代化金融监管体系与机构内部合规体系提供有力支撑。

 

        一表通报送模块是整个解决方案的数据生产引擎,核心目标是依据国家金融监督管理总局发布的《一表通监管数据采集接口标准》,从金融机构庞杂的业务系统中自动化采集、清洗、转换并生成符合监管要求的明细类数据和指标类数据。该系统严格遵循标准中定义的十大类明细数据(涵盖机构、客户、关系、财务、产品、协议、交易、状态、资源、参数共计90张数据表,涉及2224个字段)以及监管指标类数据的规范。
   
      
 
 
       
        一表通报送模块逻辑架构主要包括数据采集、数据加工、质量校验、报文生成与报文对接五大核心环节,形成“从源头到可信区”的自动化数据流转闭环。
 
1. 源头数据采集 
 
       针对需要在仓外/湖外进行一表通数据加工的情况,数据采集环节负责从各类业务系统、数据库或文件中抽取源头数据,确保数据源的完整性和及时性。包括多源异构数据接入、增量/全量采集策略、数据抽取调度机制,以及异常数据识别与告警功能,为后续处理提供高质量的数据输入。     
                                                                           

2. 监管数据加工

数据加工环节对采集的原始数据进行清洗、转换和计算,使其符合业务规则和报送要求。主要包括数据标准化、空值/异常值处理、业务逻辑转化、数据筛选、数据映射、维度转换等,确保数据准确可用。

3. 数据质量校验

质量校验环节通过校验引擎对加工后的数据进行全方位检查,包括完整性、准确性、规范性、时效性、一致性、总分平衡等校验,并生成问题清单供人工复核或自动修正,保障数据可信度。

4. 报文数据生成

报文生成环节将校验通过的数据按监管或对接方要求组装成标准格式的报文文件。包括敏感数据脱敏、数据映射、格式转换处理,确保输出报文合规可用,方便后续报文对接。

5. 报文数据对接

报文对接环节实现报文的自动化传输与状态管理,支持多种报送方式、支持多种对接源(对接预审核系统、直接对接可信区等)、报送任务调度、回执接收与解析、失败重传机制,并与监控系统联动,形成从生成到送达的完整可追溯链路。

 

        一表通预审核系统是保障报送数据质量的核心防线,其核心价值在于在数据正式进入监管可信区或生成上报报文之前,进行严格的质量把关,主动识别并拦截问题数据,避免差错数据进入监管视野。

   

        该系统深度融合了银丰睿哲在监管数据质量领域积累的丰富经验与权威规则库,构建了覆盖全面、规则严谨的数据质量检核体系。校验规则分为强制性校验、提示性校验和浮动校验三类,校验对象包括字段、记录、指标,检核范围涵盖表内、表间及跨期维度。

  规则类型:

规范性:描述数据的基本规范性,包含命名规范性(如不含特殊字符)、格式控制(如“交易日期”非空时长度须为10且格式须为YYYY-MM-DD)、值域校验(如“险种子类型代码”不为空时须为在以下值域(1001、1002))等。

  准确性:描述数据的准确性,包括唯一性(如《五级分类状态》表的“协议ID”、“借据ID”、“采集日期”须唯一)、数值合理性(如“持股比例”非空是应大于等于0且小于等于100)、数据比较(如《银团贷款协议》表的“承担贷款金额”小于“银团贷款总金额”)等。

完整性:描述数据的完整性,包括不为空、缺失率(设置单日缺失率和滚动1个月的缺失率)。

    时效性:描述数据的时效性,包括时序性(如“合同到期日期”应晚于或等于“合同起始日期”)和及时性(如采集日期与交易日期时间差)等。

一致性:描述数据的一致性,包括相同数据一致性(如《集团基本情况》表的“机构ID”非空时应存在于《机构信息》的“机构ID”)和关联数据一致性等。

 
 

        关注数据质量控制、校验流程、审计可追溯性,为数据报送“保驾护航”。

1. 数据质量检核(机构+可信区)

机构端检核:报送前,在机构数仓内对报送数据进行首次完整性检核。

可信区内再次检核:加载后对贴源层/资源层数据进行二次数据质量校验,确保一致性。

2. 数据整合与加工规则执行

执行监管端下发的数据加工任务(指标汇总、维度组合、模型计算)。

包括数据整合、指标加工、模型加工、数据拆分等功能。

3. 数据拆分机制(面向分支机构)

针对全国性机构或多省分支,支持按监管辖区进行数据切分。

数据按“分行金融许可证号”切分,并独立上报至对应的监管省局。

4. 操作审计和日志追踪

对每一项操作,包括数据加载、加工、传输进行日志记录。

提供日志聚合能力,支持从时间、用户、操作对象等维度进行审计分析。

   

        一表通可信区是金融机构端建立的、具备数据存储、加工处理、任务响应、接口服务、安全控制等能力的合规数据域。其目标是与监管端协同形成统一的“穿透式监管”体系,实现冷数据(资源层)与热数据(穿透层)协同管理。

 

        一表通可信区是金融机构与监管部门之间的数据协同平台,其核心能力覆盖数据采集、加工处理、质量审核、任务调度、服务响应与安全管控等关键环节,构建高效、可穿透、可运维的监管数据基础环境。

数据采集与资源加载

支持周期性采集机构内各业务系统生成的结构化、半结构化与非结构化数据,按照监管标准规范统一加载至可信区资源层,实现原始数据的集中存储与标准化管理。

数据整合与指标加工

基于资源层数据,系统可结合维度表、码值表等进行数据清洗与整合,自动生成明细数据、汇总数据、监管指标及临时计算数据,满足多层级监管分析需求。

数据质量审核与问题定位

内置多类监管规则,执行表内、跨表、跨期一致性校验,支持校验结果追溯与问题源头定位,输出问题清单与整改建议,保障数据准确性、完整性与可追溯性。

服务接口与任务响应

提供标准化API接口,支持监管端实时查询、任务下发、通知推送、文件同步等功能,确保监管操作在可信区内快速落地与可视反馈。

安全控制与访问管理

支持多级权限管理、接口鉴权、访问日志记录与数据脱敏处理,符合国家等级保护、安全合规等监管要求,确保数据在存储与交互过程中的安全可控。

协同运维与监控管理

系统具备完善的监控与运维体系,支持运行状态监控、日志采集、异常告警、资源使用监测等功能,实现监管端与机构端的协同运维与故障可快速恢复。

 

        数据存储层:资源层(冷数据)+穿透层(热数据)。

        数据处理层:包括ETL处理、指标模型加工、拆分、检核等。

        数据服务层:接口服务支持(文件服务/联机服务),可供监管端查询或下载。

        服务网关层:实现统一的服务注册、配置管理、访问控制、报文转换。

        安全控制层:网络隔离与部署隔离、访问权限与身份认证(基于HTTPS双向认证)、数据传输加密(专线+文件加密)、操作系统与应用操作审计、数据加锁与版本控制。

      

        报送区预审核系统自动化完成每日数据核验并推送到可信区加工核验服务。可信区加工核验服务自动化完成每日数据入库及监管相关指定任务。监管端实时发起API请求,对可信区数据进行查询。

 

        一表通可信区围绕“入库、校验、加工、交互”四个核心环节构建完整的数据处理闭环:
        报文入库:各业务系统报文统一进入资源层,作为数据存储与处理基础。
        自动校验:系统按监管规则对入库数据进行完整性、逻辑性等多维校验,并生成校验结果供查询与整改。
        数据加工:资源层数据加工生成穿透层数据,包括明细、汇总、指标和临时数据,支撑监管穿透查询与分析。
        文件生成与推送:关键指标数据封装为标准文件,推送至前置系统,实现与监管平台的数据同步。
        服务交互:提供任务下发、数据查询、状态回执、文件同步等标准接口,保障日常监管指令执行与反馈。
        该架构实现从数据接入到监管交互的标准化处理路径,全面提升数据质量、响应效率与监管适配能力。每个服务/接口均基于强身份认证机制实现访问控制,防止未授权访问。

    
                                             

一表通全栈解决方案最先出现在苏州银丰睿哲信息科技有限公司

]]>
监管数据专项治理 /index.php/jgsjzxzl/ Tue, 17 Jun 2025 06:26:03 +0000 /?p=1115         在此背景下,苏州银丰睿哲 […]

监管数据专项治理最先出现在苏州银丰睿哲信息科技有限公司

]]>

        在此背景下,苏州银丰睿哲信息科技有限公司(以下简称“本公司”)聚焦监管导向与行业痛点,制定本方案,为银行业金融机构提供“监管合规-质量提升-价值转化”全流程解决方案。通过构建数据治理体系、强化智能化工具支撑,助力机构快速夯实数据质量根基,建立敏捷响应机制,实现风险防控与数据资产价值挖掘的双重目标,为业务创新与高质量发展提供核心驱动力。

        本次专项治理包含大型银行、股份制银行、城市商业银行、农村商业银行、外资银行、信用合作社等吸收公众存款的金融机构,政策性银行,国家开发银行以及保险集团(控股)公司、保险公司、保险资产管理公司。

        方案覆盖监管数据及相关源头数据,具体包括国家金融监督管理总局的非现场监管(1104)、客户风险、监管数据标准化(EAST)、一表通、保险统计信息、保险偿付能力、保险资金运用等系统采集的核心监管指标,以及中国人民银行的金融基础数据、利率报备、征信管理体系、反洗钱和大集中。数据质量聚焦真实性、准确性、完整性三大核心维度。

        《银行业金融机构数据治理指引》为银行数据治理工作提供了方向性指导,在本次金监会监管数据质量专项治理中,银行可依据该指引确保监管数据一致性,建立数据质量管控制度,通过完善监管统计系统提升数据加工自动化水平,并依托监管统计管理制度与业务制度形成保障机制。全行数据治理与监管数据治理应协同推进,以全行数据治理夯实监管数据质量基础,同时以监管数据治理为契机深化银行整体数据治理工作,这本身也是银行开展数据治理的有效路径。

        我方提供《监管数据质量管控平台》助力金融机构全面提升监管报送数据质量,平台框架如下:

        该平台整合了1104、EAST及客户风险等监管报送制度与填报标准,内置数万条符合监管要求的合规性校验规则,并由公司每月动态更新这些规则,确保其时效性、权威性与准确性。
        该系统支持自动或手动导入1104、EAST及客户风险等监管报送数据,自动执行数据校验并生成质量报告,实现问题识别功能。虽然表面问题可通过人工修正,但根本原因仍需依托平台的数据治理三大核心模块——数据标准、元数据管理和数据质量——进行溯源分析。
        数据标准模块涵盖监管报送业务标准和技术标准,元数据管理模块可对报送数据的问题字段进行追踪溯源,向下穿透至监管报送集市、数据仓库及核心信贷等系统,定位问题根源。数据质量模块基于监管报送数据标准,对相关系统的数据进行全面质量校验,确保基础明细数据的合规性,从而完成问题溯源工作。
        “问题溯源”的工作过程中,我方可以提供咨询服务支持,以加速行方的监管报送数据的治理工作。

        1、学习监管要求,制定专项方案
        本公司为银行机构深入解读本次《专项治理通知》的政策要求,明确治理工作的具体内容与实施时间节点,协助银行快速建立职责清晰、分工明确、责任到位的组织架构,并对参与人员进行专项知识培训。同时开展数据治理与数据质量提升专题宣讲,统一全行认识,营造良好的数据治理文化氛围。

        2、表象问题排查,追溯源头问题
        通过报送数据审核模块对1104、客户风险及EAST等监管数据进行严格校验,重点保障数据的完整性、准确性、真实性及及时性要求。针对发现的数据质量问题,依托源数据追溯模块快速定位问题根源,同时联合各业务部门数据统计人员开展专项访谈,系统收集日常统计工作中暴露的数据异常情况。基于系统检测与人工调研双重验证机制,全面梳理行内监管数据质量缺陷,按照报送模块类别进行问题归集与根因分析,最终形成《监管数据质量分析报告》。在此基础上,严格遵循监管机构的自查自评规范,编制并提交符合监管要求的《自查自评报告》。

        3、面向专项问题,搭建治理体系
        本公司严格对标《指引》和《专项治理通知》的监管要求,为银行机构制定覆盖监管数据全生命周期、工作内容具体、职责边界清晰、流程切实可行的监管数据质量治理管理办法;同时协助银行搭建数据管理系统中的质量管控模块,实现存量与增量数据的自动化问题筛查,建立问题分发、整改跟踪机制,并定期生成数据质量提升评估报告,持续完善监管数据质量管理体系。

        4、制定整改方案,落实整改到位
        基于《监管数据质量分析报告》的评估结果,协同数据使用部门、源系统主管部门及数据治理归口部门开展联合研讨,将问题划分为监管数据质量问题和源头数据质量问题两类。秉持”标本兼治、报送优先”的原则,综合考量整改难易度、实施周期及问题影响程度等因素确定整改优先级。针对问题成因(如报表系统取数逻辑错误、基础数据录入不规范、源系统数据缺失等),制定专项整改方案并明确责任主体,同步建立数据标准规范并将其转化为系统可执行的质量校验规则,通过数据管理系统生成涵盖系统、机构及个人维度的整改清单。最终形成包含明确质量目标、考核机制在内的完整提升方案,由责任部门正式发文推进整改实施。机构管理员、牵头部门通过数据管理系统定期了解数据质量提升情况,并根据考核方案对行内机构进行考核排名,公布考核结果,推送数据质量提升落实。

        5、完善治理体系,落实长效机制
        在满足监管数据质量专项提升架构的基础上,为全面满足《指引》和《专项治理通知》的要求,还需要补齐在组织、制度、机制、系统方面的工作短板。
        本公司围绕《指引》和《专项治理通知》的要求,根据在多家银行实施数据治理的经验,为行内构建完整的数据治理体系。基本步骤如下图所示:

        1)数据治理现状分析
        为确保数据治理工作的顺利推进,首先面向相关人员开展数据治理知识宣讲,使其建立基本认知;随后针对各部门及管理层展开全面调研与访谈,内容涵盖组织架构、制度规范、业务活动、系统建设现状以及数据问题反馈和使用需求等方面,并同步实施基础数据质量检查;最终通过系统梳理调研访谈结果与数据质量检查情况,形成完整的《数据治理现状分析报告》。

        2)数据治理蓝图规划
        基于《数据治理现状分析报告》的调研成果,结合短期、中期和长期三个实施阶段,对银行内部数据治理工作进行全面规划,最终形成具有指导意义的《数据治理蓝图规划和实施路径》。

        3)数据治理制度完善
        完善行内数据治理管理制度,包括《数据治理组织架构》、《数据质量管理办法》、《数据标准管理办法》、《元数据管理办法》、《数据安全管理办法》、《数据治理绩效考核办法》等。

        4)数据标准建设
        依据在他行实施的经验,为行内制定或引入完整的数据标准,包括《客户主题数据标准》、《协议主题数据标准》、《事件主题数据标准》、《财务主题数据标准》、《产品主题数据标准》、《资产主题数据标准》、《公共代码数据标准》。

        5)数据质量管理
        基于现状分析结论,重点针对报送、风险管理、营销及统计等关键领域的基础数据开展全行数据质量评估,通过系统化数据画像全面掌握数据质量现状,并形成《数据质量报告》。根据数据问题对监管报送、营销支持、风险管控及统计分析等核心业务的影响程度,结合整改实施周期及技术可行性等维度,科学制定整改优先级排序。最终形成包含标准化数据规范、责任部门划分、整改实施方案及考核评估机制等完整内容的《数据质量提升方案》,为数据治理主管部门提供可落地执行的指导文件。

        6)数据治理平台搭建
        为行内搭建涵盖数据标准管理、数据质量管理、元数据管理的数据治理平台,以系统来落实推动数据治理制度、流程,确保咨询成果落地,数据质量提升得到保障,同时确保数据治理工作长效。

监管数据专项治理最先出现在苏州银丰睿哲信息科技有限公司

]]>
客户风险报送 /index.php/khfxbs/ Tue, 17 Jun 2025 03:50:25 +0000 /?p=1067         2012年9月银监发〔2 […]

客户风险报送最先出现在苏州银丰睿哲信息科技有限公司

]]>

        2012年9月银监发〔2012〕39号文,从2013年起实行新版客户风险统计制度。2015年6月苏银监办〔2015〕155号文,开始实施客户风险统计数据质量考核制度和考核细则。2017年4月苏银监办〔2017〕73号文,修订《客户风险统计数据质量考核细则》。
        在此背景下,部分区域性银行面临传统报送系统的多重挑战:原服务商系统自动化程度低,依赖人工逐项核对、手工修正数据,导致报送效率低下且易产生合规风险。经综合评估后,相关机构决定升级技术架构,寻求高精度、低干预的智能化解决方案。
        通过属地监管机构组织的政策解读会与同业实践调研,某专业化报送方案的价值得以凸显——助力多家机构实现全量数据自动归集、逻辑自检与一键报送,在监管考核中持续位列前茅。为系统性呈现技术适配性与实施路径,特制定本方案,涵盖数据治理、规则引擎配置、自动化报送等核心模块,助力银行实现从“人工纠错”到“智能合规”的转型。

满足客户风险统计报送制度的要求;
系统自动进行数据采集和加工;
系统支持最细粒度的人工数据填报和修改;
系统支持进行数据校验,包括金监局报送要求的基础性校验、确定性校验、一致性校验和考核校验;
支持对数据质量进行审核,满足由全瞎各机构初审和总行数字银行部复审;
支持对金监局下发的客户风险跨行一致性材料进行审核;
支持对业务数据按照一定维度进行统计;
支持生成上报报文进行报送;
支持对系统用户、权限、角色进行可是化管理;
支持对数据跑批过程进行可视化监控和管理;
系统能够减少人工介入的工作。

        本系统内置质量规则分两部分,其一为监管报送系统内置的基础性校验(涵盖基础校验、确定性校验、一致性校验及提示性校验),其二基于江苏监管局修订的《客户风险统计数据质量考核实施细则》相关要求构建的专项校验模块,具体包括贷款总量及结构与非现场监管报表的契合度验证、表外业务余额与非现场监管报表的一致性核查、代码名称逻辑对应性检验、行政区划代码准确性校验、客户风险预警有效比率监控、跨期数据衔接完整性分析、企业财务指标完备性评估、资产负债指标时效性追踪以及差错信息修正及时性考核等九大核心质量维度。

1、 系统整体架构

2、 数据流转过程

3、 系统网络架构

4、 主要功能  

5、 数据模型
        ●模型总述
        系统采用三层数据架构设计:源数据层负责存储原始系统推送的初始数据;中间层对源数据进行初步加工处理并存储符合监管标准的中间数据及补录数据;报表层则存储最终按监管要求完成标准化加工的报表数据。
        ●源数据层
        源数据层作为业务数据的初始导入层,严格遵循源系统表结构进行建模,完整存储全量客户及账户数据以及当月交易流水数据,主要对接信贷系统、核心业务系统和资产管理系统三大核心业务系统。
        ●中间层
        中间层为数据粗加工的目标表和加工 数据所使用带的辅助表。
        中间层模型列表如下:

        ●报表层
        报表层存储经标准化加工后完全符合监管要求的最终数据,既支持前端页面填报展示,又通过专门设计的历史表存储往期报送数据,以满足跨期数据校验和连续性分析需求。
        报表层的模型表如下:

        ●模型规范
        系统中表数据规范严格参照金监局会下发的材料进行数据加工,包括:《世界各国和地区名称代码》《银监会非现场监管统计机构编码》《新版客户风险统计表其他参考文件及标准》《新版客户风险统计表关联类型填报规则》《信贷管理系统押品分类与新版客户风险统计报表押品分类对照表》。

6、 系统整体架构
        客户风险报送系统的核心目标是确保完全符合监管报送要求,并通过持续优化的数据质量在月度考核中保持领先排名,为此系统加工生成的数据必须严格满足完整性、准确性、时效性和跨期连贯性。

        1)数据完整性
数据完整性体现在三个方面,一是业务模块不存在漏报;二是业务记录和关联数据不存在漏报;三是要求数据字段不存在为空。

         为确保数据质量满足监管合规要求,数据核验体系采用三级校验机制:业务人员需基于专业判断对潜在业务统计遗漏进行初步筛查;继而通过1104监管报表数据与客户风险统计数据的交叉核验,精准定位业务板块与数据层面的漏报问题;最终环节于每期数据上报前,系统将自动生成业务汇总数据,结合与1104报表的契合度验证及历史数据趋势分析,完成数据完整性问题的最终确认。
        系统通过双重核验机制严格保障数据完整性,首先在数据填报界面嵌入实时校验规则对录入行为实施强制约束,同时配置多维非空验证公式进行数据完整性核查,重点关注违约概率、贷款发放类型、贷款业务分类、客户预警信号指标、客户关注事件、减值准备总额、同业业务授信额度、对公授信规模、表外业务保证金金额、担保合约类型、个人担保能力上限、对公担保能力上限、还本方式、付息方式、企业债券持仓规模及企业股权持仓规模等十六项核心指标的数据完备性。

        2)数据准确性
        系统在确保数据完整性的前提下,通过多重校验机制保障数据准确性:首先依据监管标准对加工后数据的长度、数值范围和业务逻辑进行严格校验;其次对可自动修正的数据实施标准化处理,对需人工干预的异常数据则标记后返回填报环节,在保持数据真实性的同时实现准确性管控。

        3)数据及时性
统通过双重时效性管控机制确保数据及时更新:重点监控代码名称映射关系的实时匹配度,并严格追踪财务报表数据的更新时效,从而保障报送数据的实时性和有效性,完全符合监管要求的时效性标准。
        针对代码名称相符度校验的挑战(因银码系统数据未对外开放),系统采用外部企业征信数据(如企查查、启信宝、天眼查)进行交叉核验,通过智能算法识别客户名称长期未更新、证件有效期异常等潜在失效风险,触发预警机制并生成待核查清单,由人工介入复核修正,从而在无法直连官方系统的情况下构建客户信息有效性验证的替代路径。
        系统通过动态时效性监控机制实现财务报表更新管理:对连续6个月未更新的数据触发强制整改流程,同时对逾期5个月未更新的企业预生成下个月待办任务清单,实施前置预警提示。

        4)数据连贯性
        为确保数据连贯性以维持当期与历史数据的逻辑延续,系统需重点满足监管合规要求的四大核心衔接指标:欠本余额跨期匹配、当期还款记录勾稽、贷款到期日延续性验证及个人零售业务违约天数连续性核验。针对上述合规要求,系统通过内置校验机制实施动态监测,实现异常问题的快速定位与整改闭环。

        5)校验转移
        通过近年来的数据报送,行内形成了自有的数据校验方式,目前以EXCEL公式进行,系统实施的过程将相关校验公式转移到系统中,合理全面的对数据进行校验工作,确保校验公式与先前一致。

1、 系统设计总体原则
        ●高效性与稳定性
        要求系统运行高效、稳定,系统对数据处理的效率能够满足行内对数据等信息的时效性要求,列出监测信息的更新时间和报表生成时间。
        ●可用性和易用性
       系统是7*24小时可用的。界面简洁,易理解使用。提供完整的用户使用文档说明,全面的培训及相关资料。
       ●系统的可扩展性
       系统设计及支持能力需满足行内未来三至五年发展,系统建设方案要代表国际国内先进的设计理念,采用先进成熟的技术,具有较强的前瞻性。系统建设方案要考虑行内的实际情况,不能脱离行内IT系统建设的现状,力求系统选型准确、功能完备实用。所设计的系统应具有良好的扩充性,硬件平台具有可升级性。系统各个功能采用模块化集成,可以增加新的模块满足业务发展需要;实现系统各功能相互之间的紧密集成,特别是要保证分期实施内容之间的无缝衔接,同时实现与其他业务及管理系统的数据信息交互接口处理,支持后续流动性风险管理系统等数据接入功能。
       ●模块化
       系统各个功能采用模块化集成,可以根据需要购置新的业务模块增加系统功能,并保证系统各功能相互之间的紧密集成,特别是与行内核心业务系统、其他业务系统及管理系统的有效衔接。
       ●安全性
       提供系统全方位的安全保障,支持网络、硬件、软件和数据全方面的安全措施。要从网络接入、数据传输、系统管理、业务权限控制等多个方面采取措施,充分保证系统安全性。
       ●开放性
       该系统通过构建标准化数据语言体系与模块化二次开发平台,为管理人员提供自主配置报表模板、可视化图表、分析报告及统计模型的开发能力,支撑业务运营体系动态适配经营环境变化与监管要求演进;同时依托可扩展的开放式架构设计,赋予用户基于实际业务需求进行功能迭代与扩展的自主权限,实现管理工具与业务发展需求的持续同步。
       ●备份机制
       全部资产需要定期备份处理。系统的数据存储随着业务量的增长而不断增加,应制定有效地数据备份和存储策略,必须保证数据长期保留而不影响系统运行效率,在系统出现故障可使用备份数据恢复系统状态。

2、 技术要求
       系统完备的安全运行保障,包括但不限于:支持集群、热备份、灾备等安全措施;有符合行内要求的用户访问认证和权限管理机制;有充分的信息安全和访问控制的设计和运行机制;提供便利的系统管理平台,支持应用维护人员的维护及运行管理工作;提供完整的日常运行监控和系统维护管理方案,建立健全的日志管理和跟踪机制,重要操作都予以登记和跟踪,系统运行日志和用户重要操作记录应清晰可读解。

3、 需求分析
       分析现有接口系统及业务状况,在需求调研的基础上,结合业务及管理需要,分解系统业务需求和系统技术需求,形成明确的系统需求分析说明书,并进行界面原型的设计,编写用户测试计划。

4、 概要设计
       基于需求,按照概要设计规范及模板进行概要设计,包括但不限于逻辑架构设计、物理架构设计、网络架构设计。

5、 详细设计
       基于评审通过的概要设计,按照详细设计规范及模板进行详细设计。

6、 编码与单元测试
        基于评审通过的详细设计文档进行编码及单元测试,形成系统源码,并产出用户手册、技术手册等相关文档。完成测试版本及集成测试准备工作。

客户风险报送最先出现在苏州银丰睿哲信息科技有限公司

]]>
EAST数据质量服务 /index.php/east/ Tue, 17 Jun 2025 02:23:05 +0000 /?p=982         在这样的背景下,各银行业 […]

EAST数据质量服务最先出现在苏州银丰睿哲信息科技有限公司

]]>

        在这样的背景下,各银行业金融机构急需发现存在的数据质量问题,针对发现的问题提出数据整改方案,并落实整改方案全面提升EAST数据质量。

1、数据管理模块
        ●质量规则维护
        系统支持用户通过可视化界面配置数据项质量规则,涵盖规则交易表名、类型、校验字段及名称、描述与逻辑校验等要素。

        ●规则标签管理
        系统支持用户以可视化方式维护质量规则标签,该标签可应用于数据校验任务配置及校验结果查看场景,作为筛选条件使用,便于用户依据标签实现灵活的规则分类管理。

        ●数据校验任务
        系统支持用户通过多线程方式执行数据校验任务,当用户发起数据校验请求后,系统自动执行数据准备并统计待校验表的数据量,统计完成后,系统基于多线程方式执行校验处理流程,用户可通过页面实时监控校验进度并同步查看当前执行的具体质量规则。

        系统支持校验完成后查看错误信息,并提供执行时间、报错详情查询及结果导出功能。

        ●数据部门配置
        系统支持可视化维护机构部门,用于拆分校验数据;并配置用户相应数据权限。

        ●总分平衡规则
        总分平衡规则维护主要是维护EAST总分核对规则,其中包含对规则的新增、修改、删除、查找等操作。

        ●总分平衡核对
        系统执行总分平衡计算规则,判断指标对应的总账和分户账的金额是否一致。

        ●跨系统核对规则
        跨系统核对规则维护功能主要用于构建EAST系统多维校验体系,涵盖指标汇总校验(含客户风险数据核验)、1104报表指标比对等规则管理,支持规则新增、修订、全生命周期维护及条件筛选等操作。

        ●跨系统数据核对
        跨系统数据核对基于预配置的1104与EAST质量规则执行跨系统表间校验,校验结果持久化存储至数据库,支持用户以EAST及1104报表名称为筛选条件进行结果查询。

        ●数据脱敏配置
        系统支持用户可视化配置报文生成阶段需要进行脱敏的信息。

        ●报送报文生成
        支持用户在线生成需要报送的.txt数据文件和.log的日志文件,同时还支持在线生成检核清单和报送清单。生成的文件直接存放在EAST文件目录下,直接用于EAST数据报送。

        ●清洗任务维护
        系统支持可视化配置数据清洗脚本。

        ●数据清洗任务
        系统支持在执行数据清洗任务,并支持监控执行过程。

        ●执行脚本维护
        系统支持可视化配置数据导入导出的执行脚本。

        ●报文数据导入
        系统支持用户在线将标准报文导入到指定数据库,并可视化监控导入过程。

2、系统管理模块
        ●用户管理
        系统支持可视化维护用户信息,其中包括用户名称、用户姓名、用户有效期、用户拥有角色、用户管辖机构等信息。

        ●角色管理
        系统支持可视化维护角色信息,主要包括角色名称、角色权限等信息。

        ●数据源管理
        系统支持可视化维护远端数据库数据源信息,其中包括数据库地址、数据库驱动类型、用户名、密码等信息。

       ●菜单管理
        系统支持可视化维护菜单信息,主要包括菜单名称、菜单连接地址、菜单对应LOGO。

        ●机构管理
        系统支持可视化维护机构信息,其中包括机构编号、机构名称、机构类型、上级机构等信息。

        ●公告管理
        系统支持可视化维护公告信息,包括公告标题和内容信息。

        ●字典管理
        系统支持可视化维护公共字典信息,其中包括字典组、字典值、字典名称。

3、EAST数据质量治理咨询解决方案

        ●整体方案

        ●制度解读方案
        制度解读流程
        基于我公司咨询类项目培训流程,解读将分解成2个阶段来进行。
       1)培训材料准备、评审及发布阶段。
       本阶段的核心任务在于系统化构建培训材料体系,并通过定向推送确保参训人员及时获取资料,以便预先掌握培训要点并完成前期筹备。具体工作涵盖:由项目组统筹编制培训所需的纸质及电子文档,包含EAST统计制度介绍PPT、EAST数据报送清单、EAST数据报送要点、数据治理介绍PPT、项目介绍PPT等标准化文件;由行内专业人员对材料内容开展全面评审,并依据评审反馈进行修订完善;最终通过规范化流程将终审材料精准分发至全体参训对象,要求其开展预学习并梳理待解答问题清单。

       2)培训组织及开展阶段。
       本阶段的核心任务在于组织行内相关人员参与制度解读专项培训,主要工作内容包含:由行内依据项目组制定的培训方案统筹规划参训人员名单、实施时间节点及授课场地等关键信息,并正式发布培训通知;由项目组业务专家围绕监管要求开展EAST最新报送制度专题讲解,实施逐表逐字段的监管指标阐释及核心报送要点剖析;同步设立专项答疑环节,由专家组针对参训人员提出的疑问进行精准化、体系化解答。

        解读内容
        EAST体系介绍:
        从EAST的背景开始,到EAST的用途、更替历史、现状以及组成部分进行详细的介绍。
        EAST报送制度详解:
        按照EAST的最新要求,分主题(公共信息、会计记账信息、客户信息、授信交易对手信息、卡片信息、信贷管理信息、信用卡、统计全科目、资金业务、理财业务)对报送制度进行解读,逐表分析报送口径,逐字段分析业务含义、技术要求和数据质量要求。
        EAST报送要点分析:
        依据EAST报送的技术要求规范,对文件格式、文件命名、数据项分隔符与特殊字符处理、空值与默认值处理、隐私保护说明、采集模式等进行详细的分析。
        EAST报送常见问题分析:
        依据我公司在EAST报送、EAST数据质量专项治理、EAST数据应用、EAST数据质量审核方面多年实施的经验。多常见的数据确实、数据技术标准不满足、数据跨表关联不满足、数据跨期关系不满足等问题进行原因分析和解决方案提出。
        项目成果培训:
        围绕着本期项目的交付物,包括口径梳理文档、数据质量报告、数据整改方案、EAST相关制度的内容进行说明和解读。
        培训形式

        培训成果评估
        为检验培训的成效和参培人员的接受程度,保障培训的有效性。项目组会在各个阶段的培训结束后对培训效果进行评估。评估的内容主要包括对讲师的评价、对评选内容的评价与意见、对参培人员知识掌握情况的评估、参培人员对培训的建议等。
        项目组开展培训成效评价的方式包括但不仅限于以下方式:

        ●报表口径梳理
        现状调研与评估
        基于我公司现状评估方法论,现状评估将按照确定评估方案、收集与理解、执行评估三个阶段来开展。本部分的现状调研与评估,主要还是围绕着报送业务现状、报送现状、主要问题类型来进行调研,为后具体问题调研提供基础。

        溯源及问题分析
        基于江苏金监局对行内EAST数据业务口径、技术口径、行内自身对EAST数据逐表逐字段分析的要求和我公司在EAST专项治理实施方面的经验。本部分的工作按照EAST溯源方案制定、方案执行、成果整理三个阶段来开展。
        EAST溯源方案制定阶段,主要任务是确定EAST溯源工作目标、工作方式、工作内容以及记录信息要素等。本阶段的主要工作内容是由项目组提出工作方案,其中包括工作方式、工作模板、交付物清单、交付物模板,由行内审核,项目根据审核意见进行调整,最终确定工作方案。下图所示为EAST溯源工作模板填写要素。         EAST溯源方案执行阶段,本阶段核心任务为严格依据既定方案,对行内EAST数据开展逐表逐字段分析。重点围绕EAST报送制度及江苏局监管要求,分主题实施表级业务口径溯源分析、字段级业务口径溯源及质量评估,最终形成口径梳理成果文档。溯源的材料主要有两个方面:
        1)现有EAST加工脚本。ETL工程师将核实现有映射关系及取数逻辑,协同项目组专家、行业务部门验证口径合理性。对合理口径记录映射关系与数据状态,对存疑口径则制定新规则并核查数据质量。
        2)调研材料。项目组基于调研问卷及纪要,分析梳理业务归属系统及数据页面,结合行内数据部门调研明确对应数据表及字段。
        EAST溯源成果整理,本阶段核心任务是对EAST溯源方案执行成果进行整合梳理,形成标准化EAST溯源及问题分析交付物。依据江苏金监局EAST业务/技术口径文档模板及行内数据表字段梳理规范,完成成果文档整合,经行内审核确认后提交为最终成果。
        在开展EAST溯源及问题分析的过程中,有两点内容需要特别说明。

        ●数据质量分析及整改方案
        质量分析
        EAST数据质量分析旨在识别并多维剖析数据问题,形成分阶段分主题的质量报告。通过制定并执行分析方案,评估结果并生成多维分析报告。

        1)方案制定
        项目组基于EAST数据专项治理经验,制定数据质量分析方案,涵盖目标、方法、流程、维度及结果汇总。
        方案分阶段制定:前期以整体现状评估为核心;中期聚焦具体数据质量问题分析;后期侧重EAST数据治理成效总结。
        项目组采用的数据质量分析方式有:

        项目组进场后基于EAST数据质量规则实施全量核查(含空值、长度、数值、范围、关联关系等维度),结合调研开展现状评估。随着口径深化逐步完善质量校验体系,按主题输出专项质量报告。整改阶段持续跟踪改进进度,最终形成质量提升报告及长效分析机制,保障治理成效持续优化。
        项目组融合行内历史治理经验,基于完整率、正确率双率评估开展质量校验结果分析。各阶段方案均经行内审核通过后实施。
        2)方案执行
        EAST数据质量分析通过构建规则引擎实现质量规则自动执行,结合人工复核验证规则有效性。采用分主题迭代推进模式,持续优化规则逻辑,实现规则动态调优。EAST数据质量质量规则主要来源于以下几个方面:

        EAST数据校验规则覆盖数据准确性、有效性、一致性、完整性、唯一性等五维质量维度。每条校验规则都明确校验对象、数据表、数据字段、规则来源、归口部门、业务负责人、技术负责人等信息。
        质量规则经业务逻辑确认后提交行内评审,进行物理逻辑编写以适应行方不同数据库产品的运行。执行过程中实施人工复核验证执行准确性,基于反馈持续修正逻辑,迭代优化规则体系。

        数据质量校验规则依托数据治理平台进行运行,运行的方式为增量数据方式和存量数据方式。运行的结果包括校验数据量、错误数据量等信息。
        增量数据方式,为检查新产生的数据质量问题。一般运行周期为每天,检查每天新产生的数据质量问题。通过行内的通讯平台,推送消息给问题责任人,告知其数据错误。
        存量数据方式,为检查某一时点前产生的数据质量问题。一般按照数据质量提升考核的周期来制定运行周期,发现存量数据问题的清洗情况。
        3)结果汇总
        项目组依托数据治理平台和数据质量规则,在项目的前期、中期和后期分别按照不同的方向对数据质量问题进行汇总分析。

        「问题发现-靶向治理-长效管控」三阶联动,以数据驱动决策(前期图表定位问题)、以协同推动落地(中期方案精准执行)、以机制保障成效(后期回溯+常态化监控),实现数据质量从治理到自愈的演进。

        整改方案
        1)整体逻辑
        项目组结合EAST报表与源系统数据质量问题,逐表逐字段形成整改方案,涵盖数据补录、系统改造、技术清洗及脚本优化四类措施,并针对存量与增量数据场景差异化设计。整体实施逻辑见下图框架。

        2)脚本改造方案
        脚本改造方案主要对EAST报表数据取数脚本进行改造,通过对EAST口径的梳理和确认,项目组会发现原有取数脚本存在的问题,可能存在的问题包括但不仅限于业务口径错误、数据转换错误、数据关联错误、筛选条件错误、数据归并错误等问题。项目组会针对具体的问题,给出正确的取数逻辑和取数脚本作为改造方案。
        3)技术清洗方案
        技术清洗方案是指通过技术加工手段直接修正数据质量缺陷而无需启动数据补录流程或实施系统改造的解决方案,例如针对个人客户性别字段为空或标记为”未知”,但已登记身份证信息时,可通过解析身份证编码规则自动补全性别数据;或针对企业客户注册信息缺失问题,通过对接外部工商登记数据库实现字段智能化补录,从而完善客户基础信息。
        技术清洗方案作为存量数据质量治理的优先策略,因其具备快速修复缺陷、高效优化质量的特性,可显著降低时间人力及系统运维成本,最优实施方案为依托源系统后台执行批量数据更新实现底层数据一次性纠偏,虽需审慎评估操作风险,亦可在手动修正数据时,作为正确数据的来源提供出来,或在EAST数据加工阶段实施逻辑修正(此模式仅在报表层面完成数据校准,源系统异常数据未同步更新,故归类为过渡性解决方案)。
        4)系统改造方案
        系统改造方案是指引业务系统进行优化改造的方案,这类方案往往面向两类内容。第一类:EAST数据需要填报的业务或业务字段,源系统没有相关信息,需要进行信息的新增,从而引起的改造;第二类:业务系统没有对录入数据进行管控,导致录入端脏数据的进入,需要前置数据有效性校验,从而引起的改造。
        系统改造方案虽作为增量数据质量治理的最优路径,但因其实施周期冗长且技术复杂性较高,需在可行性评估与成本效益分析基础上审慎决策,通常需同步配套输出标准化数据录入规范以实现治理措施的系统性衔接。
        5)数据补录
        数据补录方案是错误数据或缺失数据的人工修正方案,方案主要是明确几个内容。
        第一:明确补录什么样的数据才是符合要求的、正确的数据;第二:错误数据在什么系统,哪个操作页面进行修正;第三:正确数据可能获取到的渠道建议;第四:明确错误数据应该是由谁进行修正和补录。
        ●质量提升实施
        拟定管理办法
        项目组在项目前期就会围绕着数据质量管理、EAST数据报送、EAST数据质量考核制定相应的管理办法和实施细则。以制定的管理办法和实施细则作为质量提升实施的第一步。
        1)数据质量管理办法
        项目组依据数据治理实施经验,借鉴他行实践经验,制定面向行内和全行业的《数据质量管理办法》和《数据质量管理实施细则》。办法包括数据质量管理的组织和职责、数据质量问题发现、数据治理问题分析、数据质量提升、数据质量校验规则管理、数据质量管理工具、数据质量考核等内容。同时还附带数据质量管理流程、数据质量校验规则管理流程、数据质量校验规则及检核方法模板等信息。
        2)数据质量考核管理办法
        项目组在参照江苏金监局考核指标基础上,进一步明确细化考核指标、考核规则、现场和非现场检查方式、流程和责任认定等,对各区域数据质量管理进行考核。
        考核办法包括总则、组织管理、考核要求、考核内容、考核评分、奖惩办法和EAST数据质量考核评分细则。从多个维度,全面的考察各区域的EAST数据质量情况。
        3)EAST数据报送管理办法
        项目组拟定面向各区域的《EAST数据报送管理办法》,应明确行内主管部门职责、业务部门职责、产品研发部和信息科技部职责等;数据报送方式;数据安全管理;报送问题处理反馈机制等内容。
        制定实施计划
        项目组依据出具数据治理问题分析报告、数据整改方案,依据问题改造的难易程度、改造时机、改造的工作量、影响报送的程度,配合着行内的主题治理工作,为问题改造梳理相应的改造顺序,制定数据质量提升计划。
        跟踪评价实施成效
        项目组在数据质量提升实施工作后,会定期跟踪数据质量提升实施成效。项目组依托数据整治平台,出具逐主题、逐表、逐字段的改造进度,分析改造难度,调整改造方案。按照EAST数据质量考核管理办法,对区域的EAST数据质量提升情况进行打分排名,以此来评价EAST数据质量提升工作开展的成效,各区域EAST数据质量提升工作开展的情况,已达到推动EAST数据质量提升的目标。

        4、服务承诺
        ●服务承诺

        ■我公司提供EAST数据治理服务,包括不限次数的现场服务和7*24小时热线电话(0512-87818837转888)、远程诊断、电子邮件支持等服务方式。
        ■我公司保证提供服务内容包括系统的运维、系统升级、EAST数据质量问题咨询等。
        ■我公司保证指定固定的资深专业工程师提供全面和及时的现场、非现场技术支持与服务。
        ■我公司保证在维护期内根据系统不同的错误级别提供相应的维护响应服务。在行内提出紧急现场支持请求后立即做出响应,12小时内到达现场。其中:H级(严重)系统死机,应用系统问题造成业务不能处理(交易中断、业务不能持续提交等影响对外服务问题),保证在2小时内解决问题;M级(中级),系统错误不影响业务正常进行,但发生频繁,发生该问题的功能模块经常使用,保证在24小时内解决问题;L级(低级),业务错误不影响业务正常进行,且发生不频繁,如报表统计功能,业务画面字段输入修改等问题,保证在72小时内解决问题。
        ■我公司保证提供该系统的全面技术培训,包括协助行内对业务人员的培训,使行内技术与业务专家能独立使用完成该系统的日常操作和相关维护等。
        ■派遣咨询顾问参与项目实施,辅导协助我行业务部门进行相关业务管理制度建设、开展业务培训和业务推广。
        ■我公司保证免费维护期后有义务在本系统的维护、运行管理和开发方面继续给予用户技术协作和咨询。
        ■我公司承诺项目组人员需遵守行内的相关工作规范和开发规范,如果有违反则按照行内的规定进行处罚,情节严重的行内有权要求换人。
        ■我公司承诺对进入行内的人员,行里有权对所提供的人员进行考核,达不到行内要求的将会被无条件要求进行替换。

        ●服务质量控制

        ●系统维护服务内容
        安装服务
        行内需重新安装软件时,我公司在4小时内到达现场提供安装支持服务。我公司须协助行内做好软件安装方案,按照行内的时间要求提交软件安装文档。

        升级服务
        在软件升级或补丁程序发布后5个工作日内,我公司以《软件升级与补丁通知》书面通知行内,并在5个工作日内免费提供光盘存放的升级程序或补丁程序及说明文本给行内。
        我公司负责协助行内测试软件升级或补丁程序,并在测试完成后5个工作日内向行内提交《软件升级与补丁测试报告》。我公司负责协助行内实施软件升级或补丁安装,并在升级完成后10个工作日内向行内提交《软件升级与补丁备忘文档》。
        应用变更服务
        1)在维护期内,因行内自身需求变更或系统改造等原因,造成本系统增加或修改功能时,我公司提供一定工作量的技术支持服务。
        2)每次变更或修改完成后,我公司于程序验收合格并上线成功后的5个工作日内向行内提交《维护服务报告(软件服务)》,该报告须包括维护工作名称、工作内容、实施周期、工作量、实施方案、完成情况等内容。
        3)工作流程

        错误修正
        在对系统的推广和使用过程中,如果出现程序错误,我公司保证在24小时内免费提供故障分析和处理方案,免费提供程序修改、测试验收及程序投产现场支持等服务。
        我公司对修改后的程序完成测试后3个工作日内,向行内提交所有修改后的程序源代码、可执行程序、程序配置说明以及《程序修改说明》、《程序上线说明》、《测试报告》等相关文档。
        咨询服务
        我公司提供7×24小时专人技术咨询服务,提供技术支持。
        应急服务
        对于系统突发事故的紧急情况,我公司提供本系统故障和出错原因排查的技术支持服务,并提供突发故障排除与突发事件的处理和7×24小时的专人应急服务。
        我公司接到行内应急报障后,立即通过电话进行应急响应支持,若30分钟仍无法排除故障,则在4小时内到达行内现场提供技术支持。如故障影响到银行系统生产运行,造成严重生产问题的,我公司保证在接到报障后4小时内提供故障分析和处理方案。我公司保证到场后8小时内恢复行内应用系统的正常运行,故障排除后3个工作日内向行内提交《维护服务报告(应急)》,内容包括:应急处理人员、处理日期、故障现象、原因分析、应急处理措施及效果、建议解决方案等。
        如我公司在故障发生后72小时内不能排除故障,行内有权请任何第三方进行解决,由此而产生的一切费用,由我公司根据有效发票支付。

        巡检服务 
        自系统投产上线后,我公司为行内提供本系统每季度一次的现场巡检服务,进行保养性维护。我公司提供的巡检服务内容包括本系统的性能检查、系统保养和日常维护等,要求包括:

        重要日期现场支持服务
        在维护期内,提供年终决算日、结息日、程序投产日、重要节假日、系统关机维护、机房搬迁以及银行监管单位要求的特殊日期等重要日期的现场支持服务。
        支持人员和团队
        在项目的维护期内,我司将组建结构合理的专职保修团队,负责在质保期内本系统的技术保障、故障处理和服务响应支持,项目组成员具备丰富的银行业数据报送、数据审核和数据治理开发实施经验:

EAST数据质量服务最先出现在苏州银丰睿哲信息科技有限公司

]]>
CircuitETL /index.php/circuitetl/ Mon, 16 Jun 2025 08:58:09 +0000 /?p=941         CircuitETL定位 […]

CircuitETL最先出现在苏州银丰睿哲信息科技有限公司

]]>

        CircuitETL定位于企业级数据服务的协调者与指挥者,通过统一调度、智能监控和资源管理,解决多系统作业依赖复杂、运维成本高、人工干预频繁等问题,助力企业实现数据流转的自动化与标准化。
        CircuitETL系统具有以下能力:

1、数据集成能力

2、数据处理能力

3、数据加载能力

4、自动化与监控能力

5、数据质量管理能力

6、实时性与灵活性

        用户登录CircuitETL系统首页后,可通过右上角用户菜单进行密码修改和账户注销操作。首页直观展示当前运行任务数量、调度次数及执行器数量等核心指标,下方以图表形式呈现任务执行状态,包括成功、失败及进行中的任务分布情况。

        首次使用先进入执行器管理界面添加执行器:

        在新增配置项中,您可选择自动注册或手动录入两种路径:自动注册将自动采集并录入执行器地址信息,手动录入支持用户自行输入执行器地址。无论采用何种方式,录入的地址均需与执行器实际配置的地址信息保持一致。若同一执行器存在多个地址,请以英文逗号进行分隔。

        在任务管理界面中,系统将呈现所有已创建的任务列表。运行状态显示为”STOP”的任务处于停止运行状态;标识为”RUNNING”的任务则为正常执行中的作业。

点击新增:选择对应的执行器(必填项),
任务描述:填写对任务用途的说明(必填项)
负责人:填写该任务的管理和维护人员(必填项)
报警邮件:可略过(非必填)
调度类型:默认选CRON(必填项)
Cron:可以选择手写表达式也可以通过编辑按钮选择定时频率(必填项)
运行模式:选GLUE(Shell)必填项,保存后无法在页面再次修改
JobHandler:因选择了GLUE(Shell)则可直接忽略
任务类型:分为普通,开始和结束任务 开始和结束在配置任务流任务的时候只各配置一个(必填项), 保存后无法在页面再次修改

任务参数:若该任务需要固定参数,则可在此处配置(非必填)
路由策略:一般选择最不经常使用,一般一个执行器有两个注册节点,根据该策略在两个节点中来回进行切换使用
子任务ID:支持配置级联任务依赖:若任务A执行成功后需触发任务B,可在任务A中配置子任务ID字段(值为任务B的ID)。多个依赖任务请用英文逗号分隔(非必填)
调度过期策略:系统默认采用”忽略过期策略”,也可选择”立即执行一次”策略,系统将在检测到调度过期时自动触发一次补偿执行
阻塞处理策略:默认使用单机串行
任务超时时间:不设置值,默认任务执行超过10分钟即标记任务失败,因而根据需求设置合理的超时时间(非必填)

在任务管理中,点击操作右边的下拉箭头,会出现如下菜单:
执行一次:该功能支持脚本测试验证,或在任务执行失败时进行问题排查,触发任务调用,可恢复中断的任务流程
查询日志:默认查询当天该任务的所有执行日志
注册节点:查看当前任务所属执行器的节点地址
下次执行时间:可以查看该任务即将触发的五个时间节点
GLUE IDE:用于编写脚本
启动:启用任务的定时调度
停止:停止任务的定时调度
编辑:对于任务的部分属性进行修改
删除:删除该条任务
物理删除,复制:复制当前任务的基本信息,脚本不会复制,复制保存后的任务仍然需要再次编写脚本。

单个定时任务配置:
        若需配置定时调度任务(无论执行结果如何都持续运行),请创建任务类型为”普通”的独立任务。注意:该任务不可作为其他任务的子任务,也不允许绑定任何子任务。
任务流任务配置:
        您可配置包含开始任务A、结束任务G及普通任务B-F的工作流:开始任务A设置子任务B、C以触发流程;任务B设置子任务D、E,任务C设置子任务F;任务D、E、F均需设置子任务G以汇聚至结束节点。开始任务A仅需满足预设条件即可启动流程,结束任务G不执行实际逻辑仅作终止标志,所有分支的最终节点必须指向G以确保流程完整性。
任务流图界面:
        系统支持同时配置任务流任务和独立定时任务,单个定时任务将在页面中以独立节点形式展示(区别于任务流结构)。选中独立任务节点时,界面提供三个操作按钮:任务参数编辑、执行脚本编辑以及任务失败时触发单次执行功能。

        调度日志界面提供完整的任务执行记录查询功能,支持按执行器筛选查看对应的调度日志信息。

        用户管理模块提供系统全部用户的集中展示与查询功能,支持按角色属性进行精准筛选检索。

        新增用户:

        编辑或删除用户:

        任务调度界面可查看任务执行情况:

        通过日期进行查询:

系统配置界面
        连续跑批开关默认为开启状态:开启时任务流任务若某日未正常执行完成,次日仍可继续调度;关闭状态下若某日任务未完成,系统将暂停后续调度直至该日任务成功执行。开启状态下任务参数有值传值(单个定时任务同样采用有值传值模式,不受此开关影响),关闭状态下系统将自动生成yyyyMMdd格式的日期参数(多个日期以逗号拼接)并传入执行脚本,无论原参数是否设置。

CircuitETL最先出现在苏州银丰睿哲信息科技有限公司

]]>
监管标准化数据采集系统 /index.php/jgbzhsjcj/ Mon, 16 Jun 2025 03:53:04 +0000 /?p=860         中国银行业监督管理委员会 […]

监管标准化数据采集系统最先出现在苏州银丰睿哲信息科技有限公司

]]>

        中国银行业监督管理委员会2017年3月发布了《银行业金融机构监管数据标准化规范的通知》,要求所有金融机构加强数据治理,遵循监管数据标准化规范,及时采集数据进行上报,增强金融风险监测识别能力,强化银行保险业金融机构数据治理能力。
        各家金融机构需每月到银保监局现场,将报送数据通过移动硬盘手工导入到银保监局专用数据库中。这种报送方式费时费力,并且存在一定的操作风险与数据安全风险,给各家金融机构带来了不便,也成为监管机构管理上的难题。
如能够建设一个线上的数据采集平台,让各家金融机构能够远程并行报数,则能够很好解决以上问题。
        在此背景下,江苏银保监局经过充分的调研、分析与设计,依据银保监会监管标准化数据标准,研发了高并发监管标准化数据采集系统(以下简称“本系统”),使得各家金融机构能够安全、快速、并行报送数据,降低了监管与被监管机构的协作成本,大大提升了协作效率。
        目前本系统已经顺利投产,采用此系统报送EAST数据的机构数量日益增多,省局领导多次指出,金融数据的安全性问题一定要防患于未然。本系统的安全性问题一直是本系统研发项目组重点攻关的问题,本方案从底层网络、硬件加密、软件层等多方面着手,采用3S安全盾对本系统的安全性进行多层次立体化加固。

        金融机构的机构端部署在连接金融专网的服务器上,监管端(服务端)及交互端部署在局内DMZ区,监管标准化数据库则布内网,两者之间搭建防火墙,保证数据的隐秘性及安全性。

        本系统是基于java开发,封装了数据管理、报送流程、数据标准、金融专网数据传输、金融专网数据加解密、证书登录等核心模块。

底层网络采用金融专网
        硬件加密采用飞天诚信ePass1000ND数字加密证书认证,证书存储在USB-Key中,需要人工按下按钮确认才能触发指定的加密操作,杜绝了恶意程序对证书的指令下发。
        服务器端软件加密算法和机构端硬件加密机制是相互匹配和协调一致的,我们设计了专有的对称秘钥协商机制,对称秘钥的协商基于这三个要素:预先约定的信息、随机信息、证书信息。
        在金融数据安全管控中,一般使用对称加密或者非对称加密来保证数据的机密性。非对称加密秘钥算法强度高,运算耗时长,一般用于对称秘钥的协商。对称加密算法速度快,但是秘钥需要由非对称加密算法来协商生成。
        本项目采用基于非对称加密算法秘钥协商的高速动态加解密算法,既拥有非对称加密算法的保密强度,又拥有对称加密算法的高速特性。
        首先监管端服务器生成各家机构的私钥和公钥,公钥通过线下文件的形式进行安装和设置,监管端也给各家机构分配得到一个机构编号(institutionNumber)以及机构端的登录会话RSA1024位公钥(institutionPKey)、机构端预留机密信息段(institutionSecret)机构端登录口令(institutionPwd),信息段长度为1024bit。
        机构端将当前的时间转换成时间戳(tickNumber),精确到十分钟,时间戳数据类型是32位、有符号的以二进制补码表示的整数,时间戳可以采用自增及重复叠加补齐至某个长度(tickNumber+(tickNumber+1)+(tickNumber+2)……),定义为tickNumber*N
        发起登录之前,先组织机构端登录的一阶段会话(sessionPeriod1),sessionPeriod1=institutionNumber+ institutionSecret⊕(tickNumber*32)+random(32bit)
        运用RSA公钥进行secretPeriod1进行计算,secretPeriod1=RSAByPKey(sessionPeriod1)。调用服务器端接口http://website:8080/wssp/ikl,接口类型:post,传递参数:institutionNumber和secretPeriod1。获取接口返回的数据段secretPeriod2和infoPeriod2,利用客户端公钥对secretPeriod2信息进行解密得到sessionPeriod2,将sessionPeriod2 ⊕institutionPwd + infoPeriod2 ⊕institutionSecret得到sessionPeriod3

        运用RSA公钥进行sessionPeriod3信息的加密,secretPeriod3=RSAByPKey(sessionPeriod3)。
        调用服务器端接口http://website:8080/wssp/ikl,接口类型:post,传递参数:institutionNumber和secretPeriod3。将上述接口返回的class字段的二进制数据作为类动态加载到JVM内存中,调用其中的getKeyEnd方法,传入参数包括institutionNumber 和institutionSecret,返回值为keyEnd(32位)。获取上述接口返回的sKey字段数据,利用institutionPKey进行解密得到keyFront(224位)。将keyFront和keyEnd进行组合,组成AES256位对称秘钥,此对称秘钥可对数据进行AES加密或者速度更快的纯异或加密。
        秘钥的有效时间为:6小时,超过此时间需要重新进行秘钥协商。实测中选择一家农商行的月度数据进行加密,数据量共计10G,加密速度平均达到600MB/s,耗时17秒。

A.报送时序图

B.导入数据时序图

一.系统登录

        输入用户名密码登陆系统,系统登录成功后进入大屏展示页,此页面统计汇总了每期数据的机构报送情况:

二.数据导入

此模块主要对机构上报任务进行管理,查看任务的处理情况。

1.数据导入(DB2)

        在数据导入(DB2)页面可以新增导入DB2数据库的任务,并能对任务进行重报、删除,并查看任务的执行进度,可手动发起对执行任务导入的请求。点击执行导入按钮,进入指定机构的任务导入界面查看详细情况。

2.数据导入(Hive)

        在数据导入(Hive)页面可以新增导入Hive数据库的任务,并能对任务进行重报、删除,并查看任务的执行进度,可手动发起对执行任务导入的请求。点击执行导入按钮,进入指定机构的任务导入界面查看详细情况。

3.理财数据导入

        页面可以对人行分发的理财数据文件进行解压、生成任务并入库。

4.临时任务查看

        此页面可以新增临时任务,并能对任务进行删除,并查看任务的报送进度。

三.数据查询

        此模块用于汇总并查看机构上报的信息

1.日期导入数量查看

       此页面用于查看指定日期下各机构的各个表导入的数据量。

2.机构导入数量查看

       此页面用于查看指定机构下每月各个表导入的数据量。

3.报送情况查询

       此页面用于查看机构报送阶段。

4.报数登记查询

       查看机构报送时的登记的人员信息。

5.盖章文件记录

       查看机构上报的报送清单和检核结果文件,PDF可以在线查看。

6.数据量下载

       按时间统计各机构的数据文件大小。

7.领导信息

       查看机构报备的报数人员信息。

8.机构端版本查询

       查看机构当前的机构端版本。

9.申请事项查询

       查看机构通过机构端提交的申请事项。

10.数据条数查询

       查看Hive库中各表以SJFQ、SJFQ+CJRQ为条件查询的数据量。

四.信息配置

       此模块用于配置任务报送、导入时所需的基本信息。

1.数据借口配置

       此页面用于维护数据文件与数据库表的对应关系。

2.建表语句查询

       此页面用于维护初始化中间库、机构库、汇总库语句的创建信息。

3.FTP参数配置

此页面用于维护FTP信息,以及导入时所需的限制条件。

4.HDFS参数配置

       此页面用于维护HDFS的基础信息。

5.机构信息配置

       此页面用于维护机构基础信息,例如:金融许可证、文件存放地址、报送方式等等信息。

6.机构信息配置(Hive)

        此页面用于配置机构与数据库对应关系,并可对未创建数据库的机构初始化对应的中间库及机构库,可测试数据库的连通情况。

7.汇总库信息配置(Hive)

       此页面用于配置机构与汇总库对应关系,可测试汇总库的连通情况。

8.加密解密配置

       此页面用配置机构对应公钥、私钥信息。

9.节假日配置

       此页面用于维护节假日信息,用于限定机构可登录的时间段。

一.证书登录

       系统支持软证书登录或者飞天诚信ePass1000ND数字加密证书认证登录,支持重要信息非对称加密传输,避免用户身份被盗用。

二.报送参数配置

       系统需要对报送的人员的信息、领导的信息、资产规模以及本地文件的存放路径等进行配置。当机构初次使用本系统时,可以直接填报人员信息,之后人员有修改时需要向系统管理员申请权限,待管理员同意后方可修改。

三.数据报送

       监管标准化数据报送分为两个部分:第一部分用于报送清单、检核结果的上报;第二部分用于EAST数据文件的上报。页面如下图:

       报送清单上报时会读取文件中的一些数据信息入库,例如表中的数据条数等,并展示在页面上(清单值)。
       第二部分展示的是需要上报的任务信息,例如EAST数据的TXT文件存不存在、当前的进度等等。预计导入(行)是指LOG文件中记录的数据量,实际导入(行)是指入库时的导入数据条数,当这两个值不一致时会以蓝色进行醒目标注。
       EAST数据文件上报完成后,可以点击下载日志包,可以用来检查数据文件入库异常的问题,例如字段截断等。

四.临时任务报送

       临时任务报送页面主要用来处理管理员新下发的临时上报EAST数据文件任务,独立于数据报送功能。该页面会显示上报机构要处理的临时任务,上报任务为管理员新增,上报人员无法创建任务。

五.申请事项

       申请事项是机构向管理员提交申请的功能,需要填写事项内容及盖章的电子扫描件,支持在线查看扫描件内容。

服务器数量:1台。
服务器硬件配置:16G内存、2T磁盘、8核心处理器,虚拟机或者物理服务器。
服务器操作系统:Windows 64位。

       苏州银丰睿哲信息科技有限公司提供“监管标准化数据采集系统软件”的安装、部署、测试、技术支持服务。
       公司联系电话:0512-87818837转808。

监管标准化数据采集系统最先出现在苏州银丰睿哲信息科技有限公司

]]>
银行业数据平台(仓库) /index.php/yhysjpt/ Fri, 13 Jun 2025 03:53:35 +0000 /?p=702         近年来,随着金融科技的迅 […]

银行业数据平台(仓库)最先出现在苏州银丰睿哲信息科技有限公司

]]>

        近年来,随着金融科技的迅猛发展和数字化转型的持续深化,银行业既迎来重大机遇,也面临严峻挑战。在数字经济时代,数据作为关键生产要素,已成为银行的核心战略资产和竞争优势所在。然而,当前众多银行在数据管理和应用领域仍存在显著短板。例如:

       与此同时监管也高度重视银行业数据治理工作,陆续出台了一系列政策文件,对银行数据治理提出了明确要求:

       《银行业金融机构数据治理指引》(银保监发〔2018〕22号): 明确了数据治理的定义、目标、原则、框架和主要内容,要求银行业金融机构建立健全数据治理体系,提升数据管理和应用水平。

       《关于银行业保险业数字化转型的指导意见》(银保监发〔2022〕2号):提出要加快数据治理体系建设,提升数据质量,加强数据共享和融合,深化数据应用,为数字化转型提供数据支撑。

       《商业银行数据安全管理办法(征求意见稿)》:对商业银行数据安全管理提出了具体要求,包括数据分类分级、数据安全保护、数据安全事件处置等方面。

       《金融业数据能力建设指引》(银发〔2021〕310号):明确了金融业数据能力建设的总体要求、主要任务和保障措施,为金融机构提升数据能力提供了指导。

       《数据管理能力成熟度评估模型》(GB/T 36073-2018):提供了数据管理能力成熟度评估的框架和方法,帮助金融机构评估自身数据管理能力,识别差距,制定改进计划。

       数据治理和数据仓库建设是数字化转型的必经之路,对于提升银行数据管理和应用水平、增强核心竞争力具有重要意义。本项目将帮助金融机构构建完善的数据治理体系,打造统一的数据仓库平台,提升数据分析应用能力,为金融机构高质量发展提供强有力的数据支撑。

       数据仓库架构规划参考架构设计规划方法论,如下图所示:

       按照此方法论体系,可以指定出数据仓库数据架构规划的基本工作内容,如下图所示:

       各部分内容以下进行简要说明:

1、调研分析

       访谈:如领导访谈、业务部门访谈。提供访谈大纲,通过问答方式了解总体业务战略、具体的业务问题、对未来数据仓库数据架构建设的要求。

       访谈的内容一般是一些开放性的问题,如:

       企业的业务发展总体战略,IT架构如何满足并推动业务战略的实现?

       IT架构,特别是数据架构层面,最迫切的问题是什么?

       进行数据仓库建设,主要的驱动力是什么?

       调查问卷:通过提供调研问卷,对数据架构的详细信息进行深入的了解。相关的IT人员填写调研问卷,咨询顾问对调研问卷的反馈信息质量进行及时的跟踪。

       调研问卷是基于业务顾问在大量实践过程中总结的经验而设计,示例如下:

       最终得到一个数据的评估结构和相关的报告,示例如下:

 

2、目标架构设计

       首先要定义数据仓库的架构设计原则,一般基本的原则包括:

       不同的架构原则如何确定优先级,可以在规划的开始过程中进行调整。原则一旦确定,就应该以此原则来指导后续的架构设计。

3、数据仓库数据架构规划建议

       数据仓库的架构一般都是借鉴目前较为成熟的数据分层架构,我们提出如下“数据仓库数据架构”如下图所示。

       数据仓库采用得到业界普遍认可的6层架构:

       贴源缓冲层是为了数据加载和转换的需要而设计的,不提供对外服务,源系统下载数据通过源系统或数据交换平台加载到缓冲层。

       贴源全量层基本按照源系统的结构来保存数据,用于方便快速地支持需要按源系统数据结构提供历史数据的分析型应用或时效性比较高的应用。

       数据标准层是对贴源层的数据进行名称、码值、单位上的标准化,同时支持数据去重和数据剔除,基本数据结构和贴源层保持一致。

       数据模型层模型采用面向主题的设计方法,有效组织来源多样的业务数据,使用统一的逻辑语言描述银行业务,是数据管理的分析工具和交流的有力手段;保证数据的一致性,是银行实现业务智能的重要基础。

       共性加工层是数据的预加工、预汇总和预关联,是对应用的共性化提炼,而不是面向某个特定的应用。共性加工层包括汇总数据和指标体系的坚守,在共性加工层建立后,数据仓库对外提供了多层次的数据访问支持。对于数据仓库的访问建议优先考虑共性加工层,对于共性加工层能够满足的需求,从共性加工层支持;对共性加工层不能满足的需求,再从基础层来支持。

       数据集市层直接面向各类型的应用,利用数据仓库内的数据,直接加工各类型的应用结果数据。数据集市可以是面向部门的,也可以面向特定类型的应用。

       数据仓库的数据是下游“分析性应用”和“业务应用系统”的唯一数据来源。

4、数据仓库平台技术架构规划

       数据仓库平台的技术架构规划是基于数据仓库数据架构规划而进行的,包括以下的几个部分:

数据仓库容量规划

       数据仓库内可以划分为6个数据层:贴源缓冲层、贴源全量层、标准层、模型层、共性加工层和数据集市层。不同的层存放不同形态和不同周期的数据,需要根据不同的情况,计算出不同层所需的数据容量,并依此为基础计算出整个数据仓库当前的数据量和3-5年的中长期数据量,便于确定数据仓库硬件平台的配置。

数据仓库性能规划

       数据仓库的性能主要包括三个方面的性能:

数据备份容灾策略

       数据仓库数据的备份是数据仓库技术架构规划的一个重要内容。数据仓库的数据备份包括以下两个主要方面:

       数据仓库的容灾策略。数据仓库一般都是采用数据容灾方式,而不采用应用容灾方式,在同城或者异地,采用数据复制的方式,进行相关的数据容灾,可以结合企业整体的“两地三中心”策略进行数据仓库的容灾策略。

数据仓库物理部署架构规划

        数据仓库物理架构规划主要是确定主机、存储、网络的拓扑结构和各个逻辑子系统的部署情况。

        对于数据仓库系统,除了数据仓库服务器之外,一般还包含以下的硬件平台。

        需要定义不同类型服务器的主要性能/容量指标,不同服务器的推荐配置,各个服务器的物理拓扑关系等。

数据安全策略规划

        数据安全是数据仓库技术平台的一个重要方面,主要的内容包括以下几个部分:

5、数据仓库的运营管理规划

        数据平台管理包含组织体系、制度与流程体系和技术支撑体系。其中,组织体系作为数据管理平台的基础,制度与流程体系是数据管理平台的保障,技术体系是数据管理平台的物理载体。

6、企业级数据模型规划

统一数据模型的建设

        在数据平台(仓库)中,模型层是数据平台(仓库)的核心所在,优秀的稳定的模型层有利于整个平台(仓库)体系的稳定发展。公司有金融行业成熟数据模型,结合金融机构业务需求和发展规划,设计符合行方实际的数据模型,实现业务数据的抽象和整合,按业务主题分类保存。

企业级数据模型设计规范与原则

  • 模型设计规范

        数据模型是数据管理的分析工具和交流的有力手段,同时还能够很好地保证数据的一致性,是BI的重要基础。因此建立、管理一个企业级的数据模型,应该遵循标准的模型设计规范。基础模型层、共性加工层、应用集市层模型设计都将遵循以下标准规范。

  • 模型层设计原则

模型层也称之为数据整合层:

        数据模型采用面向主题的设计方法,有效组织来源多样的业务数据,使用统一的逻辑语言描述银行业务,是数据管理的分析工具和交流的有力手段;保证数据的一致性,是银行实现业务智能的重要基础。

        数据平台(仓库)将同时面对多个部门的分析需求,因此相应的逻辑数据模型不能针对某一个特定部门或领域的特定需求而开发,一个普遍的、灵活的数据模型应该在一定的抽象水平上提供对数据事实本身的一个中性视图。例如,一个人的基本信息(姓名、性别、出生日期等),不会因为他是普通客户或员工,也不会因为是哪个部门要分析这些数据信息而有所变化。

        因此数据模型作为一个行方构建基础数据平台(仓库)的重要基础,在此基础上可以进行多种不同应用的开发设计,满足不同部门的业务需求和不同的数据访问方式,真正实现数据一次导入,多次使用,它所遵循的设计原则主要包括:

  • 共性加工层模型设计原则

        在逻辑上,共性加工层是EDW的一部分,它介于模型层和应用集市层的中间,因为基础数据基本按照第三范式的原则进行组织的,而特定的应用集市的数据要求都需要对基础数据进行一定程度的汇总才能便于应用访问数据,而且某一程度的汇总数据会支持多数应用所需要,因此,为了满足应用访问效率和数据资源的共享性,需要在EDW中构建共性加工层。

        共性加工层是从业务的视角出发,提炼出对数据仓库具有共性的数据访问、统计需求,从而构建出的一个面向支持应用的、提供共享的数据访问服务的公共数据。它所遵循的设计原则主要包括:

  • 应用集市层模型设计原则

数据架构规划建议

        未来数据仓库系统需要支撑全行绝大部分分析型应用和数据分析工作,从全面支撑应用和数据分析的角度,数据仓库的数据架构应当包含以下几个层次:

贴源缓冲层

        技术缓冲层是为了数据加载和转换的需要而设计的,不提供对外服务,源系统下载数据通过源系统或数据交换平台加载到技术缓冲层。

        数据仓库在数据处理中可能会出现加载错误或采集的源数据本身的错误,解决问题往往需要对源数据进行重新加载或查询,为方便和快速地发现错误、解决问题,可以在技术缓存层保留数天的数据。

贴源全量层

        基本按照源系统的结构来保存数据,用于方便快速地支持需要按源系统数据结构提供历史数据的分析型应用或时效性比较高的应用。

        物理数据尽量保持源系统数据的原貎,不做变形,对于代码标准化等适合在贴源模型层进行的操作,可以通过两套视图对外提供数据服务:

        原始数据视图:基于源系统原貌的数据服务;

        标准数据视图:进行了代码标准化映射的数据服务;

        贴源模型层只保留当前数据或者短期历史,历史数据以两种方式保存;

        时间戳方式:适用于事件类表,例如交易表;

        时间拉链方式:在源系统表结构上加上开始日期和结束日期,适用于其他需要保留历史信息的表,例如账户表。

标准层

        标准层是在贴源全量层的基础上,通过对表名和字段进行统一的命名标准化,确保数据结构和命名规则的一致性,同时进行码值对标和转换,使不同来源的数据能够在统一的维度下进行整合和分析。此外,标准层还会对空值字段进行剔除或填充处理,避免数据缺失对分析结果的影响,并剔除冗余字段以简化数据结构,提升数据处理效率。在数据重复处理方面,标准层通过去重和合并操作,确保数据的唯一性和准确性,从而显著提高数据的整体质量。

模型层

        模型层是基于标准化的数据,进行进一步的主题划分、转换和数据标准化,生成符合逻辑模型的主题数据。主题是对银行业务的抽象。它着眼于银行经济活动中的要素:客户、帐户、交易、产品、组织等以及这些要素间的关系;它屏蔽了不同系统变化繁多的交易处理过程,使用户的注意力始终关注在关键信息上。可以说,模型层的模型将是数据平台系统的核心和建设成败的关键。

        具体来说,模型层特点如下:

共性加工(指标)层

        共性加工层是从业务的视角出发,提炼出对数据仓库具有共性的数据访问、统计需求,从而构建出的一个面向支持应用的、提供共享的数据访问服务的公共数据。

        共性加工层的构建从技术层面来看,主要目的在于:

        同时服务于多个不同应用,实现数据和指标的共享,减少相同的业务统计所带来的数据重复计算与存储,避免数据在多次加工后出现的不一致。

        提高查询效率。由于经常被访问到的基础数据和业务指标经过整合计算以后存储在共性加工层,减少了重新关联表进行计算所带来的性能问题,加快了查询的响应时间。

        降低应用开发和数据查询的复杂程度。由于共性加工层从业务分析的视角组织数据,屏蔽了数据仓库的复杂性,便于前端应用的开发。

        共性加工层的构建从业务层面来看,主要目的如下:

        建立多层次的数据访问服务体系,有力提升EDW的价值。基于共性加工层和FDM,我们可以提供面向特定分析的专题数据集市、面向业务人员的即席数据查询、以及面向应用开发者的应用访问接口,因此建立起一套多层次的数据访问体系,以满足不同类型应用的需要。

        共性加工层的建设是一个循环往复的过程,不可能一步到位。随着应用的增加和对应用理解的深入,共性加工层会不断的丰富和发展,提升其业务价值。因此本期共性加工层建设的目标是搭建共性加工层的基本架构,形成共性加工层建设的基本指导原则和工作模式,重点实现协议主题和部分其他主题的具体设计。

应用集市层

        数据集市层保存各管理信息应用系统所对应的数据集市。数据集市建设面向具体的业务应用,数据集市的数据是在基础模型层数据的基础上按需生成,允许一定的数据冗余,以提高管理信息系统的数据访问效率。

        数据集市的数据模型通常根据管理信息系统的业务需求建立。数据集市中的数据主要是管理信息应用系统专用的数据,数据集市层的数据集市可以从简到繁,根据业务发展的需要逐步进行扩充。

7、统一数据模型

模型层数据模型

        FDM主题模型是以银丰睿哲的数据模型为蓝本,结合行方操作型业务系统的业务特性,采用面向主题的方法,按照第三范式规则进行设计。将来源于行方诸多业务系统的数据有效地组织起来,为行方提供了中性数据平台和单一信息视图,能够全面体现各种业务规则,支持将来的分析型应用。

        伴随着行方数据仓库系统建设得不断推进,今后我们还将逐步融入其它源业务系统,实现数据模型的不断增强完善,最终完成行方模型层的设计。

  • 客户主题

        客户主题主要组织和存放与银行客户有关的信息。包括基本信息、地址信息、信用信息、财务信息等。

客户主题包括:

        个人客户信息:主要存放来自个人客户的信息,包括基本信息、地址信息、评级信息、财务信息等。

        企业客户信息:主要存放企业客户的信息,包括基本信息、联系信息、地址信息、信用评级信息、财务信息、企业客户人之间的关系等。

  • 存款主题

        存款主题组织和存储企业和个人客户的在银行的存款业务相关信息,主要包括帐户信息、事件信息及事故信息。根据业务应用分类,在模型设计中按个人活期、个人定期、企业活期、企业定期四个子主题进行逻辑设计。

存款主题包括:

        个人活期:包括个人活期存款帐户、个人活期存取款等事件、个人活期帐户变动等信息。

        个人定期:包括个人定期存款帐户、个人定期存取款等事件、个人定期帐户变动等信息。

        企业活期:包括企业活期存款帐户、企业活期协定协议、企业活期存取款等事件、企业活期帐户变动等。

  • 贷款主题

        贷款主题组织和存储企业和个人客户的在银行的贷款业务相关信息,主要包括申请信息、合同信息、账户信息、流水信息、还款计划、押品信息、风险分类等。

        企业定期:包括企业定期存款帐户、企业定期存取款等事件、企业定期帐户变动等信息。

贷款主题包括:

        个人贷款:个人贷款申请信息、个人贷款合同信息、个人贷款帐户信息、个人贷款交易流水、个人贷款发放流水、个人贷款还款信息、个人贷款还款计划、个人贷款担保信息、抵质押物信息、个人贷款十级分类信息等。

        企业贷款:企业贷款申请信息、企业贷款合同信息、企业贷款帐户信息、企业贷款交易流水、企业贷款发放流水、企业贷款还款信息、企业贷款还款计划、企业贷款担保信息、抵质押物信息、银行承兑汇票信息、贴现信息、保函信息、企业贷款十级分类信息等。

  • 银行卡主题

        银行卡主题组织和存储客户银行卡的基本信息、账户关系和交易信息等。银行卡主题包括:

借记卡:主要存储借记卡基本信息、借记卡相关流水。

贷记卡:存储与贷记卡系统有关的所有信息,如贷记卡主档、贷记账户、贷记卡申请信息、贷记卡帐单信息、贷记卡额度信息、贷记卡流水信息、贷记卡分期还款信息等。

  • 中间业务主题

        中间业务主题主要整合银行除存、贷款业务以外的业务,即非利息收入以外的所有业务。

        中间业务主题逻辑划分按中间业务种类进行划分,如票据、汇款、国际结算、证券业务、代收代付、代理等业务相关信息。

中间业务主题包括:

票据:主要存储银行票据信息,包括汇票、本票、支票等。

汇款:主要存储来自银行结算方面数据,包括大额、小额、同城等。

国际结算:主要存储来自国际结算系统的新一代贸易融资方面的业务信息,包括进出口信用证、外汇汇入汇出、国际保理等。

代收代付:主要存储代收付信息,包括代付工资、代缴水电费、代缴电信费等。

代理:主要存储代理业务信息,包括保理保险等。

  • 渠道主题

        渠道主题主要存储来自源系统的数据,包括渠道信息、签约帐户信息、渠道帐户信息以及交易流水信息。

渠道主题包括:

网银:包括企业网银和个人网银签约信息、流水信息等。

手机银行:包括手机银行签约等。

短信通:包括短信签约、短信流水等。

电话银行:包括Call Center相关信息。

自助设备:包括ATM,VTM,POS,自助终端等。

  • 总账主题

        总帐主题用于组织和存储银行当前会计核算总帐和历史总账明细以及内部帐有关的信息。

总账主题包括:

        总账、内部帐、内部帐明细帐等。

  • 公用主题

        公用主题用于存储各种业务主题公用的一些信息。主要包括内部机构、人员、公共代码等相关信息。

公用主题

内部组织:主要存储机构、部门、操作员以及之间的关系方面的数据。

业务参数:主要存放系统参数及业务参数。

共性汇总模型

共性汇总的作用:

共性汇总设计方法:

        比如存款账户日汇总,业务维度是存款,粒度维度是账户级,时间维度是日;网点存款月汇总,业务维度是存款,粒度维度是机构和存款属性,时间维度是月汇总。

        汇总层分为六类,存贷款类汇总、银行卡类汇总、中间业务类汇总、渠道类汇总、总账指标类汇总、公用汇总,主要内容包括:

  • 存贷款类汇总

        该主题对存贷款款有关的数据,从账户、机构产品维度;从日、月维度进行统计汇总。可以根据这些维度的不同组合生成不同的数据集合。如:

        个人活期存款帐户日汇总、个人活期存款帐户月汇总、个人定期存款帐户日汇总、个人定期存款帐户月汇总、企业活期存款帐户日汇总、企业活期存款帐户月汇总、企业定期存款帐户日汇总、企业定期存款帐户月汇总、网点存款日汇总、网点存款月汇总、贷款账户日汇总、贷款账户月汇总、网点贷款日汇总、网点贷款月汇总

  • 银行卡类汇总

        该主题主要对借记卡、贷记卡有关的内容进行汇总统计,按卡、按机构、日期维度进行统计,卡交易量、卡信息统计、开销卡等。如:

        借记卡交易日汇总、借记卡交易月汇总‘借记卡信息日汇总、借记卡信息月汇总、借记卡卡数日汇总、借记卡卡数月汇总、贷记卡交易日汇总、贷记卡交易月汇总、贷记卡信息日汇总、贷记卡信息月汇总、贷记卡卡数日汇总、贷记卡卡数月汇总

  • 中间业务类汇总

        该主题主要对中间业务内容进行汇总统计,主要包括公积金、国债、基金、国业结算量、代发工资、理财、中间业务量等,按账户、机构、日期维度进行统计。如:

        个人公积金账户日汇总、个人公积金账户月汇总、国债账户日汇总、国债账户月汇总、网点国债日汇总、网点国债月汇总、基金账户交易月汇总、基金客户资产月汇总、国业结算量汇总日表、国业结算量汇总月表、企业代发工资汇总日表、企业代发工资汇总月表、理财账户交易月汇总、理财客户资产月汇总、网点中间业务月汇总

  • 渠道类汇总

        该主题主要对中间业务内容进行汇总统计,主要包括公积金、国债、基金、国业结算量、代发工资、理财、中间业务量等,按账户、机构、日期维度进行统计。如:

        该主题主要对渠道相关的数据进行汇总统计。主要包括自助设备、商户、网银、柜面等渠道,按渠道、机构、日期维度汇总,包括渠道签约情况、渠道交易情况等。如:

        自助设备交易日汇总、自助设备交易月汇总、自助设备信息日汇总、自助设备信息月汇总、商户交易日汇总、商户交易月汇总、商户信息日汇总、商户信息月汇总、个人网银交易日汇总、个人网银交易月汇总、个人网银信息日汇总、个人网银信息月汇总、企业网银交易日汇总、企业网银交易月汇总、企业网银信息日汇总、企业网银信息月汇总、网银交易日汇总、网银交易月汇总、柜面交易日汇总、柜面交易月汇总

  • 总账指标类汇总

        该主题主要对内部帐、总账数据、常用指标进行汇总统计。分成总账和指标的汇总,内部帐的汇总。

总账指标

A、模型

B、指标设计原则

关联性:全行业务经营核心指标为基础的相互依存的体系。

均衡性:核心指标以业务规模,收益,风险为基础的业务经营指标,辅助客户指标,再以市场规模指标作为参考的整体均衡指标框架。

稳定性:业务条线组织指标体系的扩展,以避免部门指标组织方式的不稳定性。

重用性:以权限的方式设定不同部门的KPI指标群集,确保业务经营指标统一口径下的全行共享。

实用性:参照业务部门日常关注的分析重点内容,梳理和整理指标。

C、指标设计原则

内部帐汇总

包括: 内部帐账户日汇总、内部帐账户月汇总

  • 公共类汇总

        维度信息,比如机构维度、科目维度、币种维度、汇率参数、时间维度、年龄层次、存贷款金额层次等:

        客户业务汇总,包括个人客户业务汇总、企业客户业务汇总等:

8、性能设计

容量估算

*注:此为容量估算方法示例,行内实际需要容量需要调研后确认

  • 3年规划预算步骤

        流水信息保留13个月,13月以前的流水信息应该进入历史数据区或者采用近线或离线存储的方式保留。

       基础数据层重要客户信息,账户信息按3年规划(建议保留7年),流水信息保留13个月(根据业界DW核心信息保留策略)。汇总数据保留3年。

       基础数据层FDM:如上表计算,核心数据量为4.1TB。 取50%的扩展系数,则核心数据量为4.1TB * (1+50%)= 6TB。

       共性加工层ADM: 按每月的核心数据量汇总为162G,2倍扩展系数,3年保留进行计算,得到其他数据的总数据量为:162×2 x 12 x 3 = 11T。

       FDM+ADM: 总数据量为:核心数据容量+ 扩展数据容量 = 8TB +11TB ≈19 TB (用户数据总量,不考虑存储底层的镜像等因素)。

       MDM:管理驾驶舱,统一报表平台,智能分析平台的初始化用户数据容量根据我行实施的多个项目经验来看用户数据容量为:2T。

性能设计要求

       系统整体备份能力:数据增量按每月500GB计,不压缩情况下月增量备份完成时间要求不大于1小时,20T全备份时间不超过12小时;

       并发情况下,文本导入和导出速度都不低于300M/秒;

       注册用户不少于5000,连接用户数不少于1500,其中并发操作用户数不少于200,至少满足200个并发任务下,服务器性能不会有显著降低;

       具备HA、负载均衡功能,当设备扩容时性能指标随容量增加而线性增长,系统能够满足7×24小时稳定运行;

后       台日常批处理时间要求最长不超过3小时,特殊时点(如月初、月底、结息和年终决算等)的批处理时间要求不超过4个小时,并且在后台批处理时不影响前台应用系统对本系统的访问;

       交易用户的简单查询访问的响应时间要求不超过2秒,复杂查询访问的响应时间不超过10秒。

大数据表分区策略

       当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区。表进行分区后,逻辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件上),这样查询数据时,不至于每次都扫描整张表。在数据仓库实施中一般采用日期分区模式。

       分区表的设计可以帮助我们解决一些大表的使用效率低下的问题,针对流水表的设计,建议采用按日期分区存放,每一个分区就好像独立的物理表,在使用某一个段时间的数据时,再也不用进行全表扫描,只需查询时间段所在分区的数据,大大的提高了数据的查询效率,同时降低了表的IO次数。

大数据表分区策略

       银行数据仓库的备份恢复策略主要包括数据库备份内容设计和数据库备份方式设计,备份频率设计。

  • 数据仓库备份内容

银行数据仓库备份内容主要包括:

1、数据字典及数据库日志;

2、用户数据

(1)贴源层

(2)模型层

(3)共性加工层

(4)应用集市层

3、各管理系统和应用系统的资料库信息;

4、其他应用程序、ETL脚本和程序代码。

  • 备份的方式及频率

针对不同的数据采用不同的数据备份策略:

1、每周做数据库全备份(包括数据库数据和归档日志);

2、业务数据每天采用增量备份的方式进行;

3、源系统传过来的数据文件采用日备份,备份成功后从数据交换服务器删除;

4、各管理系统和应用系统的资料库信息每天备份;

5、其他应用程序及配置文件采用不定期备份,在应用程序或配置更改后备份。

  • 备份的方式及频率

       数据仓库备份恢复根据需要进行,找到相应日期的备份,执行相应的恢复操作,恢复操作的粒度包括单表恢复、单库恢复和全库恢复。主要功能包括:

1.完全备份

       每天对自己的系统进行完全备份。例如,星期一用一盘磁盘对整个系统进行备份,星期二再用另一盘磁盘对整个系统进行备份,依此类推。这种备份策略的好处是:当发生数据丢失的灾难时,只要用一盘磁盘(即灾难发生前一天的备份磁盘),就可以恢复丢失的数据。然而它亦有不足之处,首先,由于每天都对整个系统进行完全备份,造成备份的数据大量重复。这些重复的数据占用了大量的磁盘空间,这对用户来说就意味着增加成本。其次,由于需要备份的数据量较大,因此备份所需的时间也就较长。对于那些业务繁忙、备份时间有限的单位来说,选择这种备份策略是不明智的。

2.增量备份

       星期天进行一次完全备份,然后在接下来的六天里只对当天新的或被修改过的数据进行备份。这种备份策略的优点是节省了磁盘空间,缩短了备份时间。但它的缺点在于,当灾难发生时,数据的恢复比较麻烦。例如,系统在星期三的早晨发生故障,丢失了大量的数据,那么现在就要将系统恢复到星期二晚上时的状态。这时系统管理员就要首先找出星期天的那盘完全备份磁盘进行系统恢复,然后再找出星期一的磁盘来恢复星期一的数据,然后找出星期二的磁盘来恢复星期二的数据。很明显,这种方式很繁琐。另外,这种备份的可靠性也很差。在这种备份方式下,各盘磁盘间的关系就象链子一样,一环套一环,其中任何一盘磁盘出了问题都会导致整条链子脱节。比如在上例中,若星期二的磁盘出了故障,那么管理员最多只能将系统恢复到星期一晚上时的状态。

3.差分备份

       管理员先在星期天进行一次系统完全备份,然后在接下来的几天里,管理员再将当天所有与星期天不同的数据(新的或修改过的)备份到磁盘上。差分备份策略在避免了以上两种策略的缺陷的同时,又具有了它们的所有优点。首先,它无需每天都对系统做完全备份,因此备份所需时间短,并节省了磁盘空间,其次,它的灾难恢复也很方便。系统管理员只需两盘磁盘,即星期一磁盘与灾难发生前一天的磁盘,就可以将系统恢复。

4.单表恢复

        如果发现只是单个表需要恢复,使用单表恢复,该功能针对具体的数据表执行数据恢复,使用数据库系统功能,简单、易用。

5.单库恢复

        如果发现单个数据库需要恢复,使用单库恢复,该功能针对具体的数据库执行数据恢复,使用数据库系统功能,简单、易用。

6.全库恢复

        如果发现整个数据库需要恢复,使用全库恢复,该功能可以针对具体的多个数据库执行数据恢复,使用数据库自身功能,简单、易用。

响应时间

调度设计

查询设计

1.在单表查询的时候,选择的过滤条件尽量使用分布键或有索引的字段上。

2.在表与表关联时,作为连接条件尽量使用分布键或有索引的字段上。

3.针对特别复杂的查询,关联的表比较多,计算也相对比较复杂,而有经常查询可以进行一些预处理工作,例如通过物化视图先将表关联好。

4.SQL语句编写的时候,选择我们所需要的字段,尽量不用SELECT *。

5.尽量使数据均匀分布在磁盘上,充分的利用系统的并发能力来提高查询效率。

6.针对分组求和的计算,可以使用分析函数的尽量采用系统自带的分析函数来处理查询。

7.针对不同的业务场景和语句进行充分的测试,保证查询的稳定性。

银行业数据平台(仓库)最先出现在苏州银丰睿哲信息科技有限公司

]]>
数据管控平台 /index.php/sjgkpt/ Thu, 12 Jun 2025 11:55:09 +0000 /?p=487 一.数据重要性 数据已从金融业务流程中的 […]

数据管控平台最先出现在苏州银丰睿哲信息科技有限公司

]]>

一.数据重要性

数据已从金融业务流程中的记录副产品转变为核心服务资源。
互联网金融化
各类互联网+企业都把目光瞄向了金融行业,借助互联网、云计算、大数据等数字化手段提供精准的客户获取和服务定价。
风控模型化
银行经营风险和客户信用风险的管控和防范越来越依赖精确的客户数据和计量模型进行管理。
业务数字化
金融服务越来越转向互联网渠道、移动渠道等非柜面渠道转移,传统实体渠道快速萎缩。
金融场景化
金融服务不再是专业化的服务,而是越来越多地与生产、生活等非金融场景无缝结合,形成金融与非金融相互融合的生态圈。
社会移动化
中国移动电话用户超16.83亿户,手机成为人们除睡觉以外花费时间最多的地方。

二.数据突出问题

三.制度背景

        随着数据作为银行业重要资产价值的提升,公司对数据的重视程度日益加强。为了有效提高数据的管理能力,挖掘内、外部信息资源,为银行业务决策提供支持。数据治理管控系统对银行数据治理工作进行集中管理、协调和监督,将数据治理提升到公司层面,从解决小数据管理的现实问题开始,逐步推进大数据建设和应用目的的工作方向,部署了全面的海量数据采集、大数据平台建设、有重点地推进部分数据管理问题的解决、信息安全等四项工作。
        目前没有统一的数据治理管控产品的银行,各个数据平台在其内部管理自己的元数据信息,针对各个数据平台和IT用户的元数据诉求,一般通过公司信息技术中心以Excel等文档交互;在数据质量和数据标准化的问题上,主要通过在ODS系统增加自定义开发的ETL检核作业和存储过程来完成,如对数据字典的校验检核。目前的流程复杂,需要经过多重申请和多次交流,交互的信息在准确性和及时性上都难以保证,需求方很难从数据获取有价值的信息,各业务系统对统一数据分类标准的理解和认识也不一致,没有专门机构对标准、应用规划这样的数据问题进行全面负责。

        Efraiser倾力打造的企业级金融数据管控平台建设目标是通过采购具备国内外金融行业或大型企业数据治理领先设计理念的数据管控产品为原型,结合公司信息采集与管理工作目标和需对产品原型进行客户化定制开发与实施,从而建立具备数据标准管理、数据质量管理、元数据管理等核心功能,同时在技术上能够对接大数据平台的各类技术组件,为各类数据应用提供辅助功能的企业级金融数据管控平台。
        企业级金融数据管控平台是推动公司信息采集与管理工作所提出的数据标准管理、元数据管理、数据质量管理工作的技术工具,同时也是业务和IT人员交流、反馈、跟踪、解决信息采集与管理问题的统一的工作平台,用于提高信息采集与管理工作的专业化与协同性,为建设信息采集与管理工作的长效运行机制提供系统支持。

一.数据中心逻辑架构
二.数据中心技术架构

三.方案整体架构
一.建设方案

        企业级金融数据管控平台通过解决释放数据价值过程中面临的诸多问题,以体系化的方式实现数据的可得、可用,用较小的数据成本获得较大的数据收益。

二.建设思路

        对元数据采集、元数据搜索、数据质量检核、血缘分析等模块进行开发。
模型(元数据)设计与审批、发布线上化,旨在降低数据治理成本,提高数据治理效率。
        数据质量检核的在线流程,主要解决台账的检核、数据项相关检核。
        数据标准管理的在线流程,与模型设计、数据质量联动。
        数据目录、元数据关系管理等功能,为数据治理人员提供合理的元数据编目方式,为数据管理人员、业务分析人员等用户提供清晰、可靠的数据资产视图。
        构建统一展示界面,通过对接数据管理平台,调用数据目录接口,获取标准集市主题数据,按照业务、技术进行目录构建,展示相关元数据信息;调用数据质量接口,可以进行质量查看、质量检核等。
        通过对接数据服务模块,按维度查询数据内容,如客户维度、产品维度等数据。

三.建设成果
 一.平台优势
二.组织架构
 
 

•对元数据采集、元数据搜索、数据质量检核、血缘分析等进行需求分析及系统研发。
•模型(元数据)设计与审批、发布线上化,旨在降低数据治理成本,提高数据治理效率。
•数据质量检核的在线流程,主要解决台账的检核、数据项相关检核。
•数据标准管理的在线流程,与模型设计、数据质量联动。
•开发数据目录、元数据关系管理等功能,为数据治理人员提供合理的元数据编目方式,为数据管理人员、业务分析人员等用户提供清晰、可靠的数据资产视图 。

一.元数据的定义

        元数据最简单的定义是:描述数据的数据,常见的元数据分类包括技术元数据、业务元数据、操作元数据、管理元数据、行为元数据、运营元数据、服务元数据
        归纳总结为三类:一技术元数据、二业务元数据、三管理元数据。

二.元模型
三.元数据采集范围
四.元数据采集方式

元数据采集的方式

        元数据的采集主要是获取静态元数据,包括库、模式、表、视图、索引、字段、存储过程、加工脚本、作业、指标、报表、服务等信息。主要包括以下三种采集方式:
DDL解析:对DDL语句进行解析和处理,以获取数据库的结构信息
直连采集:通过采集程序从客户数据库中直接抓取数据的静态元数据
数据开发平台采集:转化开发平台涉及的静态元数据

元数据解析的内容

        元数据的解析主要是获取和解析数据生成逻辑,解析静态元数据之间的关系,生成动态元数据。

主要包括下面的解析内容:
        存储过程解析、加工脚本解析、指标加工逻辑解析、报表生成逻辑解析、API服务逻辑解析、批量数据订阅查询逻辑解析、开发平台Maping解析、Mapping文件解析
注:通过开发平台可以额外解析元数据和标准的映射关系

六.元数据变更流程
七.元数据应用-元数据查询

        对元数据进行检索和详情查看,查看元数据的基本信息、物理结构、DDL、样例数据、数据分布等信息。帮助开发人员了解数据。

八.元数据应用-关系分析

九.元数据应用-元数据分析

十.元管理主要功能
十一.血缘解析模块

        血缘解析模块是一款高度自动化、简单易用的可视化分析工具,专为快速解析 SQL 语句并发现其中的数据血缘关系而设计。它能够满足技术人员对数据血缘的快速批量化处理需求,简化处理流程,显著提升解析速度和精准性,是企业实现数据治理的基础工具。
核心特点
1. 数据血缘在线解析
        Lineage 血缘解析工具支持通过离线采集或服务器文件采集任务,在线分析包括 Oracle、MySQL、Hive 等在内的几乎所有主流数据库脚本、报表文件及 Excel 模板,实现高效的数据血缘解析。
2. 全链路字段级血缘解析
        工具能够生成表级和字段级的数据血缘关系信息,支持采集埋点信息和自定义扩展属性。通过完整链路追踪,清晰呈现数据的流转关系,帮助企业全面掌握数据来源和去向。
3. 血缘关系可视化追踪
        Lineage血缘解析工具通过矢量图直观展示数据加工的各个节点。用户可选中任意节点,以此节点为起点(或终点),向下(或向上)追溯其影响到的其他节点路径,实现数据的全链路可视化追踪。

价值与优势

        血缘解析模块是企业数据治理的得力助手,通过自动化、可视化的方式,帮助技术人员快速掌握数据流转关系,为数据质量管理和决策提供坚实基础。

 

一.数据质量管理方法论

数据质量改进方法:“戴明环PDCA”(计划-执行-检查-处理)问题解决模式

数据质量提升:通过一组定义好的步骤来改进数据质量

数据质量根据数据标准进行衡量:如果数据不符合标准,则必须查明与标准不符合的原因,并给予纠正

数据问题:数据采集、处理、加工过程存在技术和非技术原因, 需要全面识别

问题修复:数据质量问题要进行跟踪管控,责任到人,督促问题责任人积极整改,保证数据质量能够满足需求

实施步骤

1、确定数据范围,识别不满足数据消费者需求的数据;

2、找到影响业务目标实现的数据问题;

3、根据关键的数据质量维度和已知的数据质量需求对数据进行评估;

4、查明问题根因,便于利益相关者知晓;

5、确定采取补救的措施和成本,考虑不补救的风险预留 。

二.数据质量管理规划

三.数据质量管理内容

确立数据质量管理目标,建立管控机制,确保数据的真实性、准确性、连续性、完整性和及时性

监控体系

覆盖数据全生命周期持续监测、分析、反馈定期现场检查

质量提升

覆盖数据全生命周期持续监测、分析、反馈定期现场检查

考核评价

建立数据标准考核评价体系

定期考核并纳入绩效考核体系

四.数据质量管理流程

五、数据质量监控常规检测规则

六、数据质量检核规则属性

七、数据质量规则运行逻辑

1、总数统计SQL运行->检核目标总数

2、检核SQL运行->临时结果数据表->临时结果表与错误数据表做关联,关联不上为新增错误,插入错误数据表->错误数据表做与临时数表做关联,关联不上为以修正错误,更新错误数据结束日期->统计本次运行结果,当前错误数、本次新增错误数、本次修正错误数

八、数据质量问题下发逻辑

手动选择数据及人员下发

基于发现的问题数据,点选数据进行问题数据下发

手动选择数据,自动选择人员下发

手段选择/全量选择数据,按照预设的内部机构号、员工号、归口部门等维度分别拆分对应部门或人员

自动下发

按照预设的内部机构号、员工号、归口部门等维度,在错误数据生成后进行增量下发

九、数据质量问题整改方式

 

十、平台展示

  

 

 

        指标集市围绕指标定义与管理、数据建模与计算、可视化分析、数据质量监控、灵活扩展、用户体验和安全合规展开。通过这些能力的组合,指标集市可以为企业提供高效、可靠、易用的指标管理和分析服务,助力业务决策和数据驱动运营。

        数据服务组件对外暴露的功能接口,具体又分为以下三类:

通用查询服务:以JDBC或是Restful的方式向外提供数据查询能力,应用通过传入SQL语句的方式进行数据查询;

数据订阅服务:用于覆盖在线联机查询无法满足的异步类场景,如大批量数据查询场景下,通过订阅的方式通知消费方数据就绪情况,或是定期性的数据推送等;

模式化查询服务:用于覆盖通用查询服务无法满足要求,或是高度模式化的查询场景。通过开发专用服务的方式满足这类需求(如模式化的指标类查询服务等);统一查询引擎和数据缓存目的是为数据服务提供高效的访问能力;安全管控和服务发布可通过UI端对数据定制和数据权限进行控制,确保数据安全;

        数据服务盘点可以为下游系统以及业务人员提供了数据价值的释放途径

        外部数据管理统一对接了第三方的数据接口,屏蔽了第三方接口不同标准、不同格式的差异,为数据应用提供了统一标准的接口

        数据补录从任务管理、数据录入、审批流程、质量保障到结果监控的全流程能力,同时支持自动化、协作、安全和扩展性等功能。通过这些能力的组合,数据补录模块可以高效解决数据缺失问题,确保数据的完整性、准确性和一致性,为企业的数据驱动决策提供坚实保障。

        构建统一展示界面,通过对接企业级金融数据管控平台,调用数据目录接口,获取标准集市主题数据,按照业务、技术进行目录构建,展示相关元数据信息;

         通过对接数据服务模块,按维度查询数据内容,如客户维度、产品维度等数据;

        对不同的报表工具做集成,企业级金融数据管控平台作为过去数据价值释放的主要途径,在企业级金融数据管控平台做统一展示和管理配置;

将集团驾驶舱整合到企业级金融数据管控平台中来,用户可以一站式处理多样业务。

        数据资产大屏从全景展示、实时监控、质量评估到趋势分析的全流程能力,同时支持动态可视化、权限管理、可扩展性和安全性等功能。通过这些能力的组合,数据资产大屏模块可以帮助企业快速了解数据资产的全貌和运行状态,支持管理层的决策和运营优化,提升数据资产的管理效率和价值。

        数据资产报表从报表生成、全景展示、实时监控、质量分析到趋势预测的全流程能力,同时支持动态可视化、权限管理、可扩展性和安全性等功能。通过这些能力的组合,数据资产报表模块可以帮助企业快速掌握数据资产的状态和价值,支持管理层的决策和运营优化,提升数据资产的管理效率和业务价值。

  

        数据资产集团驾驶舱从全局概览、实时监控、质量分析、使用情况到趋势预测的全流程能力,同时支持动态可视化、权限管理、可扩展性和安全性等功能。通过这些能力的组合,数据资产集团驾驶舱模块可以帮助企业高层快速掌握数据资产的状态和价值,支持战略决策和资源优化,提升数据资产的管理效率和业务价值。

        逐步构建覆盖全域数据、结构层次清晰、数据准确一致、性能提升、降低成本、方便易用的数据层次架构,这个层次架构定义了数据分层及每一层的模型建设规范,构建整体的数据能力框架;

        逐步搭建数据技术框架,完善数据服务能力、数据开发能力、数据分析与可视化能力等技术体系,建立“企业级金融数据管控平台”的数据中台,让数据越用越活,越用越多;

        结合业务场景,配套AI中台的建设,深挖数据价值,构建一套持续不断把数据变为资产并服务于业务的机制。

数据管控平台最先出现在苏州银丰睿哲信息科技有限公司

]]>