数据库架构

鲲志说1 天前
大数据·数据库·mongodb·性能优化·数据库开发·数据库架构·金仓数据库
电子证照系统国产化改造实践:从MongoDB到金仓数据库的平滑迁移与性能优化在政务电子证照系统国产化升级中,“文档——关系型数据库架构适配”、“高并发场景承载” 始终是制约项目落地的核心难题。福建某地市电子证照共享服务系统改造前,因长期依赖MongoDB文档数据库,系统在 2TB+核心数据迁移、1000+高并发场景承载等方面面临巨大挑战。金仓数据库为其系统提供定制化方案,不仅实现从MongoDB到国产数据库的平滑过渡,更在迁移后系统稳定运行超6个月,有效支撑了当地500余家单位的证照共享服务,为政务数字化提供了可复制的国产化路径。
百锦再1 天前
android·java·前端·数据库·学习·.net·数据库架构
从 .NET 到 Java 的转型指南:详细学习路线与实践建议在当前的技术环境中,从 .NET 转型到 Java 通常基于以下考虑:.NET CLR vs JVM:
jie*6 天前
大数据·人工智能·机器学习·tensorflow·逻辑回归·数据库架构·sklearn
小杰机器学习高级(two)——极大似然估计、交叉熵损失函数从以下3个方面对激活函数及其导数进行介绍 1.极大似然估计与交叉熵损失函数算法理论讲解 2.编程实例与步骤 3.实验现象 上面这3方面的内容,让大家,掌握并理解极大似然估计与交叉熵损失函数。 1. 极大似然估计与交叉熵损失函数算法理论 交叉熵损失函数是独立于我们的MSE(均方差损失函数)。 交叉熵损失函数是另一种损失函数。MSE损失函数和交叉熵损失函数它们的应用场合是不一样的。 均方差损失函数主要应用在回归、拟合领域。(eg:有一些点用直线拟合它,或者用曲线去拟合)。 交叉熵损失函数主要应用在分类领域?
王百万_7 天前
大数据·数据库·分布式·flink·spark·数据治理·数据库架构
【浅谈Spark和Flink区别及应用】Flink 和 Spark 是当前主流的大数据计算框架,核心差异在于 Flink 是基于流的实时计算框架,而 Spark 是基于批的离线计算框架(后通过 Spark Streaming 补充流处理能力)。 1. 核心计算模型(根本差异) Flink:流优先(Stream-First) 视所有数据为“无界流”,离线数据是“有界流”的特例,从底层设计上原生支持流处理,计算更实时、状态管理更精准。 Spark:批优先(Batch-First) 基于“弹性分布式数据集(RDD)”的批处理模型,流处理(Spark
水无痕simon17 天前
数据库·数据库架构
1. 数据库架构演变与分库分表介绍如今随着互联网的发展,数据的量级也是成指数的增长,从GB到TB到PB。对数 据的各种操作也是愈加的困难,传统单体的关系性数据库已经无法满足快速查 询与插入数据的需求。
马走日mazouri17 天前
数据库·分布式·mysql·系统架构·数据库架构
深入理解MySQL主从架构中的Seconds_Behind_Master指标在典型的 MySQL 主从架构下,所有写操作都会直接进入主库,而读操作大多分流到从库,从而实现读写分离,缓解主库压力。 然而 MySQL 的复制机制是异步的:主库先写入 binlog,从库 I/O 线程拉取到 relay log,再交由 SQL 线程顺序回放。这个链路包含网络传输与多步处理,因此天然会引入延迟。当网络抖动、主库写入量过大或从库执行能力不足时,延迟可能进一步加剧。 这种延迟在大多数场景下可以容忍,但在涉及 写后立即读 的业务时问题尤为突出。例如,用户刚下单立刻查询订单详情,如果读请求被路由到
好名字更能让你们记住我18 天前
linux·数据库·sql·mysql·adb·数据库开发·数据库架构
MYSQL数据库初阶 之 MYSQL用户管理如果我们只能使用root用户,这样存在安全隐患。这时,就需要使用MySQL的用户管理。MySQL用户存储在系统库 mysql 的 user 表中:
TG_yunshuguoji18 天前
服务器·数据库·阿里云·云计算·数据库架构
阿里云国际代理:如何利用RDS构建高可用、可扩展的数据库架构讲下云数据库RDS案例解析,若在上云或用云过程中有不懂的,可寻云枢国际yunshuguoji助力免卡上云用云。
一叶飘零_sweeeet22 天前
java·数据库·mysql·数据库架构·分库分表
从 0 到 1 攻克订单表分表分库:亿级流量下的数据库架构实战指南想象一下,你负责的电商平台在经历了几个双十一后,订单系统开始频繁出现问题:数据库查询越来越慢,甚至在高峰期出现超时;运维团队每天都在抱怨数据库服务器负载过高;营销部门的数据分析报告总是延迟,因为全表扫描需要数小时。
半夏陌离23 天前
大数据·数据库·sql·mysql·oracle·数据库架构
SQL 拓展指南:不同数据库差异对比(MySQL/Oracle/SQL Server 基础区别)在学习 SQL 的过程中,你可能会发现:同样的 “建表语句” 在 MySQL 能运行,在 Oracle 却报错;“分页查询” 的写法在 SQL Server 和 MySQL 完全不同。这是因为 MySQL、Oracle、SQL Server 是三大主流关系型数据库,虽都支持标准 SQL,但在 “基础特性、语法细节、适用场景” 上存在明显差异。今天我们从学习和实操的角度,拆解三者的核心区别,帮你避免 “跨库踩坑”。
TSINGSEE1 个月前
mysql·音视频·实时音视频·数据库架构·视频编解码
数据库选择有讲究?SQLite、PostgreSQL还是MySQL?不同规模的项目,数据库选择有讲究。大家好,我是技术支持彼得,每天两眼一睁就是为客户解决问题。在日常使用我们的视频平台时,很多用户会问到数据库选择的问题。今天就来详细说说EasyGBS、EasyNVR和EasyCVR三大平台该如何选择数据库。
小云数据库服务专线1 个月前
数据库·数据库架构·gaussdb
GaussDB 数据库架构师修炼(十九)-性能调优-长事务分析长事务在数据库的表现是session持续时间长,期间可能伴随CPU、内存升高,严重可导致数据库整体响应 缓慢,业务无法正常运行,所以在业务系统中应该尽量避免长事务的发生。
lypzcgf1 个月前
人工智能·后端·系统架构·开源·go·数据库架构·安全架构
Coze源码分析-API授权-添加新令牌-后端源码本文将深入分析Coze Studio项目中API授权添加新令牌功能的后端实现,通过源码解读来理解整个Personal Access Token (PAT) 添加新令牌功能的架构设计和技术实现。API授权添加新令牌功能作为用户权限管理系统的重要组成部分,主要负责安全地添加新令牌,确保用户能够有效管理自己的API访问权限。
小云数据库服务专线1 个月前
sql·数据库架构·gaussdb
GaussDB 数据库架构师修炼(十八) SQL执行引擎-概述执行引擎一般负责查询的执行。 执行引擎在SQL执行栈中接受优化器生成的执行计划Plan, 并通过存储引擎提供的数据读写接口, 实现对数据进行计算得到查询结果集。
小云数据库服务专线1 个月前
数据库·数据库架构·gaussdb
GaussDB 数据库架构师修炼(十八) SQL引擎-计划管理-SPM由于业务数据的变化或者数据库版本的升级,可能导致SQL的执行计划发生变化,这种变化不一定是正收益,这时需 要一个防止计划劣化的机制。该机制需适用于版本升级时固化计划防止计划跳变等场景。
小云数据库服务专线1 个月前
数据库·数据库架构·gaussdb
GaussDB 数据库架构师修炼(十八) SQL引擎-分布式计划1)计划生成主要是查询的路径树到计划树结构转换的过程, 在分布式场景下对关联join、聚集操作Agg有特殊的生成逻辑
小云数据库服务专线1 个月前
架构·数据库架构
谈谈架构的内容架构是一个界定不清的东西,我们很难讲清楚哪些东西是架构,哪些东西不是架构。但软件行业里其实人人都在搞架构,软件设计就是架构本身。
小云数据库服务专线1 个月前
安全·数据库架构·gaussdb
GaussDB 数据库架构师修炼(十三)安全管理(5)-动态数据脱敏数据隐私保护是数据库安全所需要具备的安全能力之一, 可以在一定程度上限制非授权用户对隐私数据的访问,保证隐私数据安全。
小云数据库服务专线1 个月前
数据库·数据库架构·gaussdb
GaussDB数据库架构师修炼(十六) 如何选择磁盘在数据库系统的性能瓶颈中,磁盘IO是最常见且最容易被忽略的因素之一。随着应用对高并发和低延迟的要求日益提高,了解磁盘性能、IOPS概念及其优化手段,已经成为数据库架构设计中的关键课题。本文将系统梳理磁盘类型、IOPS含义、RAID技术、SSD与HDD对比,并结合数据库实际应用给出选型建议。