金融大数据平台总体技术

目录

  1. 金融大数据平台应用场景
  2. 风险管理
    1. 场景描述
    2. 解决方案
  3. 市场营销
    1. 场景描述
    2. 解决方案
  4. 金融大数据信息价值链
  5. 金融大数据平台总体目标
  6. 金融大数据平台功能技术要求
    1. 概述
    2. 数据接入功能要求
      1. 作业调度
      2. 数据采集
      3. 消息队列
      4. 数据传输

金融大数据平台应用场景

风险管理

场景描述

风险管理以反欺诈场景为例。金融欺诈风险主要来自针对借记卡和信用卡的身份盗用、持卡人欺诈、 第三人欺诈、商户欺诈,以及针对电子渠道的钓鱼网站、中间人欺诈、木马欺诈等。银行业金融机构应 有效地甄别、防范和控制风险。

解决方案

金融大数据平台实时反欺诈功能通过客户的自然属性、行为属性、客户信用度、资产负债状况、交 易环境等信息进行实时交易行为监测,通过交易记录、频度、位置等信息,实时分析判断交易风险,并 针对不同类别和级别的疑似欺诈交易做相应处理,将传统的风险事后跟踪转变为事中控制。实时反欺诈 大数据分析可以通过统一管理银行业金融机构内部多源异构数据结合依法查询外部征信数据,建立完 善的风险防范体系。

市场营销

场景描述

市场营销以精准营销场景为例。在金融产品标准化、同质化的背景下,传统的营销模式效果不佳。 银行业金融机构需要选择合适的时间、合适的产品推广给真正需要的客户,动态掌握市场需求的变化, 提升产品营销效率

解决方案

金融大数据平台通过对客户数据进行挖掘、追踪、分析,将不同客户群体进行聚类,分析客户的消 费习惯、风险收益偏好等特征信息,对细分的客户进行个性化智慧营销。例如,根据客户的购买习惯和 风险偏好进行动态的理财产品组合营销。根据客户行为轨迹分析,主动推送关联产品服务,真正做到个 性化的主动营销服务,提升客户整体满意度

金融大数据信息价值链

从信息价值链的角度来看,金融大数据平台面向金融大数据应用提供者、系统协调者及大数据框架 提供者,核心活动在于从数据提供者处收集、处理、分析金融活动过程中的相关业务数据、用户信息、 行为数据等,并结合金融业务特征支撑金融机构的各项活动和服务。金融大数据信息价值链见图1。

数据提供者为金融大数据平台提供数据或信息,包括数据源提供者、数据流通平台提供者和数据 API提供者。
系统协调者在金融领域规范和协调各类所需的数据应用活动,包括系统的配置管理、作业调度、 资源调度、运行监控等活动。
大数据应用提供者满足金融领域大数据服务需求,包括收集、预处理、分析、可视化和访问
等活动。
大数据框架提供者为金融大数据应用提供者在创建具体应用时提供资源和服务。
数据消费者是金融大数据应用的最终使用者或其他系统

金融大数据平台总体目标

金融大数据平台的总体目标是帮助金融机构更高效、更快速地完成金融大数据应用的开发、部署和 管理,从以交易为中心转向以数据为中心,以应对更多维、更大量、更实时的数据和互联网业务的挑战。 金融机构以防范系统性风险为底线,对数据安全和业务连续性保障的技术要求通常高于其他行业。

金融大数据平台功能技术要求

概述

金融大数据平台是企业级、分布式、开放、统一的大数据平台,应包括数据接入、数据存储、数据 处理、数据分析及数据服务相关组件。从功能的必要性及重要性角度看,金融大数据平台具体功能技术 要求可以划分为基本要求和增强要求。增强要求是从技术的发展趋势和金融用户的前瞻性需求入手提
出的。
数据接入的基本要求应包括作业调度、数据传输、消息队列、批量采集,增强要求宜包括实时采集; 数据存储的基本要求应包括分布式关系数据库、分布式存储系统(文件、对象、块)等,增强要求宜包 括分布式列数据库、分布式图数据库;数据处理的基本要求应包括批处理、流处理、图计算,增强要求 宜包括批流融合计算、内存计算;数据分析的基本要求应包括模型库、数据处理引擎等,增强要求宜包 括数据可视化;数据服务的基本要求应包括风险管理、用户画像、营销管理、客户服务和经营分析等。
金融大数据平台技术架构见图2。

金融大数据平台由数据接入、数据存储、数据处理、数据分析、数据服务和平台运维等部分组成,主要内容如下:

  • 数据接入提供结构化数据、非结构化数据或半结构化数据的采集、数据的导入导出以及数据流 的定义等功能,支持多系统集成,支持多协议接入,如支持RESTful、RPC、异步消息接入。结 构化数据包括数据库文件以及结构化文本文件等。非结构化数据包括图片、音频、视频、文档 及应用数据等。半结构化数据包括XML、表格、JSON、HTML、电子邮件等。

注: REST指的是一组架构约束条件和原则,满足这些约束条件和原则的应用程序或设计称为RESTful。

  • 数据存储提供大数据的分布式存储管理,涵盖多种存储方式和文件系统。
  • 数据处理支持结构化、半结构化及非结构化数据,提供丰富的API接口和SDK开发包,支持分布式 计算技术、流处理技术、内存计算技术,实现稳定、强大的数据处理能力。
  • 数据分析采用数据挖掘、机器学习等技术,支持多个数据处理引擎,具备数据可视化、多种算法、建模分析等深度挖掘分析能力。
  • 数据服务提供海量金融交易数据、用户信息数据、金融业务数据的访问、控制等基础服务,提供 营销管理、风险管理、客户服务、经营分析及用户画像等高级数据服务,金融大数据平台支撑的 应用场景见附录。
  • 平台运维具备高可靠、安全、容错、易用的集群管理能力,支持大规模集群的安装部署等功能, 提供分钟级别的统一风险管理,具备各类日志的指标实时采集能力、通用的SQL查询能力、可视 化监控能力。

数据接入功能要求

作业调度
  1. 应支持工作流任务的调度。
  2. 应支持工作流的编排。
  3. 应支持工作流的批量启停、导入、导出。
数据采集
  1. 应支持数据库与文件系统间数据、文件的导入和导出。

  2. 应支持数据的批量采集。

  3. 宜支持数据的实时采集。

  4. 应支持任务的并行执行,在任务失败后可以重新调度。

消息队列

消息队列的功能要求如下:

  1. 应支持高吞吐、分布式消息的处理。

  2. 应支持消息的缓存。

  3. 应支持离线应用和在线应用对消息的使用和处理。

  4. 宜支持多种客户端。

数据传输

数据传输的功能要求如下:

  1. 应支持通用的数据传输协议。
  2. 应支持断点续传机制。
  3. 应支持同步、异步传输机制。

延伸阅读​​​​​​​

企业架构、技术方案、行业资料下载(持续更新)-CSDN博客

如何进行统级架构设计-CSDN博客

金融行业业务流程指南-三级模型-CSDN博客

中国数据库产业图谱(2024)-CSDN博客

设计模式------模板方法模式-CSDN博客

相关推荐
知见漫记2 小时前
AI 桌面 Agent 本地执行能力技术对照:沙箱机制与权限模式拆解
大数据·人工智能
xcl09253 小时前
幼儿托育系统开发实战:从需求分析到上线全流程指南
java·大数据·需求分析
cspttty3 小时前
国际经济与贸易专业考什么证对就业有帮助
大数据
足球魅力3 小时前
哪款足球软件能分析凯利指数大数据?
大数据·业界资讯
xwz小王子4 小时前
机器人的“最后一毫米”: 新加坡南洋理工大学Facet-0如何教会基础模型“感受”自己的动作?
大数据·人工智能·机器人
腾视科技-AI4 小时前
腾视科技AIBOX双版本重磅发布!本地安全与全球适配,解锁视频智能新可能
大数据·人工智能·科技·安全·大模型·腾视科技·ai算力盒
姜穆澜5 小时前
OneID 从 0 到 1 完整生产案例(五)
大数据·notepad++
geneculture5 小时前
《融智学:终结信息定义纷争的时代范式》 拓展分析述评
大数据·人工智能·信息科学·融智学的重要应用·哲学与科学统一性·融智时代(杂志)·比较分析
刘同学的 AI学习手记5 小时前
每日 AI PM 情报 · 2026-08-31
大数据·人工智能
Talordata5 小时前
從失控的價格爬蟲到可控的數據管線:一個跨境品牌數據團隊的重構手記
大数据·人工智能·ai·数据挖掘