GBASE南大通用交通行业案例-民航局综合统计信息系统数据库升级项目

一、 项目概况

1、项目背景

国家民用航空局综合统计信息系统是目前民航应用的业务系统,该系统采集并存储了大量关于机场、运输生产及通航生产等数据信息。为了更方便快捷的获取数据价值,民航局决定开发综合统计系统数据分析平台,对数据进行更加精细化的提取、挖掘、分析获得更大的应用价值。

2、业务需求

民航综合统计系统数据分析平台以综合统计业务系统作为数据来源,围绕着生产统计、专业统计、其他统计、综合统计分析及系统平台这个几个相关的功能模块,依托南大通用GBase数据库搭建数据仓库,通过Oracle ODI工具进行ETL数据抽取,然后以Cognos、Arcgis、Echarts等一系列工具对仓库数据进行可视化多维度多层次的展现,从而最终满足民航客户的需求。

3、 建设要求

考虑未来业务发展需要,采用南大通用GBase 8a MPP Cluster数据库V9版本对原系统进行升级,支持虚拟集群能力,支持多租户管理,不同业务间数据隔离、资源隔离、故障隔离和独立扩容。

二、解决方案

目前MPP集群承载业务为综合统计系统数据仓库,近期将加载数据到共享交换平台数据仓库和专业数据分析子系统数据仓库业务,通过升级来保证系统支持虚拟集群,使多业务在虚拟集群下高效有序地运行。

本期项目采用对MPP数据能力平台进行升级的方案,以满足更多种类的数据统计和分析业务需要。

考虑未来业务发展需要,升级MPP数据能力平台到V9版本,支持虚拟集群能力,支持多租户管理,不同业务间数据隔离、资源隔离、故障隔离和独立扩容,同时未来考虑增加服务器数量,并通过物理隔离,即每个业务的数据部署在若干服务器组成的虚拟集群中,保证数据节点硬件隔离,共同使用现有的集群管理节点,租户间数据节点硬件隔离,确保租户间不会相互影响。

系统架构图

三、 应用效果

1、 实施情况

该平台部署6节点(6个数据节点,3个管理节点),数据总量约2T,库内表约200张左右。

2、效果及价值

通过本次升级项目,使原有MPP集群支持虚拟集群功能,更好地规划MPP大数据平台的使用职责,实现不同业务的逻辑隔离。提升现有数据库应用系统的可靠性和可扩展性。

相关推荐
m0_55002463几秒前
持续集成/持续部署(CI/CD) for Python
jvm·数据库·python
AC赳赳老秦2 分钟前
代码生成超越 GPT-4:DeepSeek-V4 编程任务实战与 2026 开发者效率提升指南
数据库·数据仓库·人工智能·科技·rabbitmq·memcache·deepseek
啦啦啦_999915 分钟前
Redis-2-queryFormat()方法
数据库·redis·缓存
玄同7651 小时前
SQLite + LLM:大模型应用落地的轻量级数据存储方案
jvm·数据库·人工智能·python·语言模型·sqlite·知识图谱
吾日三省吾码1 小时前
别只会“加索引”了!这 3 个 PostgreSQL 反常识优化,能把性能和成本一起打下来
数据库·postgresql
chian-ocean1 小时前
百万级图文检索实战:`ops-transformer` + 向量数据库构建语义搜索引擎
数据库·搜索引擎·transformer
小Tomkk1 小时前
数据库 变更和版本控制管理工具 --Bytebase 安装部署(linux 安装篇)
linux·运维·数据库·ci/cd·bytebase
qq_12498707532 小时前
基于JavaWeb的大学生房屋租赁系统(源码+论文+部署+安装)
java·数据库·人工智能·spring boot·计算机视觉·毕业设计·计算机毕业设计
倒流时光三十年2 小时前
SpringBoot 数据库同步 Elasticsearch 性能优化
数据库·spring boot·elasticsearch
码农小卡拉3 小时前
深入解析Spring Boot文件加载顺序与加载方式
java·数据库·spring boot