GBASE南大通用政企行业案例-国家电网公司“网上国网”项目

一、项目概况

1、项目背景

"网上国网"是由国家电网公司打造的一款掌上电力互动服务平台。主要为客户提供通过手机进行支付购电、用电查询、信息订阅、在线客服等相关电力业务。其功能分别有:支付购电、用电查询、信息订阅、在线客服、网店导航、停电公告。服务覆盖26个省(自治区、直辖市),覆盖国土面积的88%以上,供电服务人口超过11亿人。

2、业务需求

国家电网公司要求"网上国网"服务平台应用查询性能达到毫秒级别,单表数据量在200亿行以上,之前在Oracle、Hadoop生态及国网大数据平台均无法达到毫秒级响应。

3、建设要求

支撑网上国网报表统计分析类业务:每日对300多张超1亿条(约50G)业务数据表进行抽取汇聚处理,平均每日从网省同步超1000万档案变更数据,每天汇聚超2000万的用户行为日志数据。

指标计算抽取方面:每日需对上亿数据进行批处理计算,对外提供300多个运营指标数据支撑。

基础数据下发方面:每日将网上国网汇聚后的数据下发至全网27家单位,每日下发超2000万条约15G数据。

二、解决方案

系统采用GBase 8a MPP Cluster建设,共20个节点,目前系统每个节点数据都已经通过压缩存储,每个节点数据量都超过10TB。

业务规模:每日入库数据量30亿行以上(日增量300G以上),同时支持2000万用户的app账单及用采数据实时查询。

报表统计分析类业务:每日对300多张超1亿条(约50G)业务数据表进行抽取汇聚处理,平均每日从网省同步超1000万档案变更数据,每天汇聚超2000万的用户行为日志数据。

指标计算抽取方面:每日需对上亿数据进行批处理计算,对外提供300多个运营指标数据支撑。

基础数据下发方面:每日将网上国网汇聚后的数据下发至26省(自治区、直辖市),每日下发超4000万条约30G数据。

网上国网报表统计分析系统架构图

三、 应用效果

1、实施情况

系统采用GBase 8a MPP Cluster建设,共20个节点(20个数据节点,3个管理节点),目前数据量约200T,日增数据量400G左右,并发一般100-500。

2、效果及价值

海量数据处理: 为用户提供了性价比很高的海量并行复杂数据处理平台,帮助客户实现26省(自治区、直辖市)服务11亿供电人口的电费查询、电量电费以及用能分析等业务。

高性能: 系统架构高可扩展,性能随着节点数的增加而提升,保证客户接入更全面的业务数据,满足客户的业务需求。

高压缩比: 为用户提供完备压缩态存储管理海量数据的能力,进一步降低客户数据仓库建设的成本,并进一步提升系统性能。

相关推荐
春风霓裳1 小时前
sql-窗口函数
大数据·数据库·sql
言之。1 小时前
【数据库】TiDB 技术选型与架构分析报告
数据库·架构·tidb
人工智能训练2 小时前
如何在 Ubuntu 22.04 中安装 Docker 引擎和 Linux 版 Docker Desktop 桌面软件
linux·运维·服务器·数据库·ubuntu·docker·ai编程
胖头鱼的鱼缸(尹海文)2 小时前
数据库管理-第386期 使用OCP部署OceanBase 4.4.1社区版集群(20251107)
数据库·oceanbase
Craaaayon2 小时前
如何选择两种缓存更新策略(写缓存+异步写库;写数据库+异步更新缓存)
java·数据库·redis·后端·缓存·mybatis
一 乐2 小时前
点餐|智能点餐系统|基于java+ Springboot的动端的点餐系统小程序(源码+数据库+文档)
java·前端·数据库·vue.js·spring boot·小程序·论文
WarriorTan2 小时前
理解PostgreSQL中的数据块
数据库·postgresql
学好statistics和DS2 小时前
三个好思路:SQL并行化处理、混淆矩阵和特征交叉
数据库·sql·矩阵
唐僧洗头爱飘柔95273 小时前
【GORM(3)】Go的跨时代ORM框架!—— 数据库连接、配置参数;本文从0开始教会如何配置GORM的数据库
开发语言·数据库·后端·golang·gorm·orm框架·dsn
谅望者3 小时前
在 macOS 上使用 Homebrew 安装 MySQL 8.0 完整指南
数据库·sql·mysql