数据库架构

王百万_3 天前
大数据·数据库·clickhouse·数据治理·数据库架构
【ClickHouse 特性及应用场景】传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的磁盘等等来解决问题(纵向扩展),但这只是拖延解决本质问题。如果你的需求是解决怎样快速查询出结果,那么ClickHouse也许可以解决你的问题。
你好,生活!7 天前
大数据·数据仓库·数据库架构·etl·etl工程师
第四篇:指标血缘与数据治理——构建可信数据链路的终极法则某跨国银行因无法证明客户信用评分的数据来源,被欧盟罚款2300万欧元。这场"数据问责风暴"揭示:在《通用数据保护条例》(GDPR)时代,企业必须建立端到端可信数据链路。本文将深入解析如何通过指标血缘与治理体系,让每个数据指标都具备"司法级"可追溯性。
kiwixing1 个月前
数据库·database·达梦·数据库架构
DM达梦启用及收集AWR报告SF_CHECK_AWR_SYS 返回值0:未启用;1:已启用用户在使用 DBMS_WORKLOAD_REPOSITORY 包之前,需要提前调用系统过程 SP_INIT_AWR_SYS(1)创建包。DM 数据库在创建该包时,默认创建一个名为 SYSAUX 的表空间,对应的数据文件为 SYSAWR.DBF,该表空间用于存储该包生成快照的数据。如果该包被删除,那么 SYSAUX 表空间也对应地被删除。
Alluxio1 个月前
大数据·人工智能·缓存·系统架构·数据库架构·idc·中国联通
Alluxio数据流转方案在联通智网的应用分享嘉宾陈得泳 - 中国联通大数据平台 SRE 工程师,致力于基于开源生态构建稳定、高效、安全、低成本的大数据集群。
Ultipa1 个月前
数据库·分布式·数据库架构·图数据库·图计算
图数据库 | 18、高可用分布式设计(中)上文我们聊了在设计高性能、高可用图数据库的时候,从单实例、单节点出发,一般有3种架构演进选项:主备高可用,今天我们具体讲讲分布式共识,以及大规模水平分布式。
柚几哥哥1 个月前
spring boot·后端·clickhouse·架构·数据库架构
SpringBoot多数据源架构实现在现代的应用程序开发中,使用多个数据源已经成为一种常见的需求。例如,我们可能需要在同一个应用中使用MySQL作为主数据库,同时使用ClickHouse来处理大量的分析数据。本文将介绍如何使用Spring Boot 3.x、MyBatis-Plus、MySQL 8.0和ClickHouse 24,结合dynamic-datasource-spring-boot-starter实现多数据源配置。
东方未明01081 个月前
数据库·redis·数据库架构·单线程架构
Redis(三)单线程架构介绍前文已经介绍了,Redis 是使用单线程架构来实现高性能的数据库服务;但实际上 Redis 虽然只使用一个线程来处理所有命令请求,但 Redis 服务器内部并不是只有一个线程;处理命令的所有请求的那个线程,称作核心主线程,还有另外多个线程用来处理网络 IO 服务。
昊昊该干饭了2 个月前
大数据·数据仓库·数据库架构
数仓建模(二) 从关系型数据库到数据仓库的演变从传统数据库出发,帮助读者更好理解数仓的核心价值和基本结构目录先问1. 什么是关系型数据库?2. 为什么需要数据仓库?
DashVector2 个月前
服务器·数据库·http·数据库开发·数据库架构
如何通过HTTP API分组检索Doc本文介绍如何通过HTTP API在Collection中进行分组相似性检索。已创建Cluster:创建Cluster。
DashVector2 个月前
大数据·数据库·数据仓库·人工智能·http·数据库架构·向量检索
如何通过HTTP API插入或更新Doc本文介绍如何通过HTTP API向Collection中插入或更新Doc。说明若调用本接口时Doc Id已存在,则等同于更新Doc;Doc Id不存在,则等同于插入Doc。
蚂蚁数据AntData2 个月前
大数据·数据仓库·spark·数据库架构
流批一体向量化计算引擎 Flex 在蚂蚁的探索和实践编者按:Flex是蚂蚁数据部自研的一款流批一体的向量化引擎,Flex是Fink和Velox的全称,也是Flexible的前缀,被赋予了灵活可插拔的寓意。本文将重点从向量化技术背景、Flex架构方案和未来规划三个方面展开论述。
18号房客2 个月前
大数据·数据库·数据仓库·sql·mysql·时序数据库·数据库架构
高级sql技巧进阶教程SQL(Structured Query Language)是用来管理和操作关系型数据库的标准语言。在数据库开发和优化中,高级SQL技巧能够帮助你编写更高效、更灵活的查询,同时提升性能。以下是一些常见的高级SQL技巧,它们可以帮助你在复杂查询、数据优化和数据库管理中更加得心应手。
江梦寻2 个月前
java·数据库·sql·mysql·区块链·数据库架构
区块链赋能数字藏品设计提案应用设计方向 本提案旨在重新设计一款基于区块链技术的数字藏品应用,聚焦于提升平台的公信力,优化技术架构,同时符合当前政策合规性要求。通过实现数据透明化、唯一性及所有权不可篡改,解决传统平台的痛点,并通过“联合生态合作”的方式推动该业务的发展。结合创新应用场景,如AICG生成式藏品、盲盒抽卡模式,将区块链技术深度集成,以打造一个具备行业引领性的数字藏品应用。
workflower2 个月前
大数据·数据库开发·数据库架构
大数据平台大数据行业应用持续升温,特别是企业级大数据市场正在进入快速发展时期。越来越多的企业期望实现数据孤岛的打通,整合海量的数据资源,挖掘并沉淀有价值的数据,进而驱动更智能的商业。随着公司数据爆发式增长,原有的数据库无法承担海量数据的处理,那么就开始考虑大数据平台了。大数据平台应该支持大数据常用的Hadoop 组件,如HBase、Hive、Flume、Spark,也可以接Greenplum,而Greenplum 正好有它的外部表(也就是Greenplum 创建一张表,表的特性叫作外部表,读取的内容是Hadoop
Yz98762 个月前
大数据·数据仓库·hive·hadoop·数据库架构·bigdata
Hive的Serde在哪里听过这个词?--> 只要碰见将对象存入内存、硬盘、网络传输,对象必须序列化。对象可以想象为活物。
泰山小张只吃荷园2 个月前
java·开发语言·数据库·后端·mysql·面试·数据库架构
每日速记10道java面试题13-MySQL篇其他资料每日速记10道java面试题01-CSDN博客每日速记10道java面试题02-CSDN博客每日速记10道java面试题03-CSDN博客
TiDB_PingCAP2 个月前
数据库·分布式·tidb·数据库架构
商业银行基于容器云的分布式数据库架构设计与创新实践本文介绍了某商业银行基于 TiDB 和 Kubernetes(简称 K8s) 构建的云化分布式数据库平台,重点解决了传统私有部署模式下的高成本、低资源利用率及运维复杂等问题。
Tp_jh2 个月前
数据库·ide·gpt·mysql·ai编程·数据库开发·数据库架构
从数据库模型设计到字段设计,用自然语言实现数据库开发,颠覆传统的数据库开发模式在数据库开发过程中,开发者经常面临以下困扰:1. 焦头烂额的数据库设计阶段在设计数据库阶段,开发者需要全面考虑表结构、关系模型、字段定义等,稍有不慎就会影响后续的开发与维护,常常让人感到无从下手。
Ultipa3 个月前
数据库·数据库架构
图数据库 | 13、图数据库架构设计——高性能计算架构再续书接上文 图数据库 | 12、图数据库架构设计——高性能计算架构。昨天老夫就图数据库架构设计中的 实时图计算系统架构、图数据库模式与数据模型、核心引擎如何处理不同的数据类型、图计算引擎中的数据结构 这四块内容进行了展开讲解,今儿继续往下、往深聊,就如何对大图分区(分片)、高可用性及可扩展性、故障与恢复进行具体展开。
Ultipa3 个月前
数据库·数据库架构·图数据库·图计算·gql
图数据库 | 11、图数据库架构设计——高性能图存储架构(下)在上篇内容中,老夫着重讲了高性能图存储系统的特点,咱们继续往下讲重点——高性能存储架构的设计思路!!首先呢,存储架构以及核心数据结构的设计思路通常围绕如下4个维度来进行: