数据开发

锵锵锵锵~蒋1 个月前
flink·数据开发·实时数据开发
实时数据开发|简单理解Flink流计算中解决乱序的机制--水位线今天继续学习Flink的关键机制–水位线,虽然看文字有种浮于表面、难以理解的感觉,但是我觉得等开发中使用到的时候就会融会贯通了。
知识分享小能手3 个月前
大数据·开发语言·数据库·sql·学习·mysql·数据开发
mysql学习教程,从入门到精通,SQL 删除数据(DELETE 语句)(19)在SQL中,TRUNCATE TABLE 语句用于删除表中的所有行,但不删除表本身。这个操作通常比使用 DELETE 语句删除所有行要快,因为它不记录每一行的删除操作到事务日志中,而是直接重新创建表。但请注意,使用 TRUNCATE TABLE 时需要谨慎,因为它无法撤销(即一旦执行,被删除的数据就无法恢复)。
xintaiideas6 个月前
数据开发
SQL语句的案例分析根据提供的图片内容,这段文字看起来像是一个SQL查询的一部分,特别是一个用于删除数据的语句。以下是对这段SQL的核心内容整理:
五分钟学大数据6 个月前
数据开发·维度建模
大数据之数据治理体系全面指南数据治理是企业数据建设必不可少的一个环节。好的数据治理体系可以盘活整条数据链路,最大化保障企业数据的采集、存储、计算和使用过程的可控和可追溯。如何构建企业数据治理体系?企业数据治理过程需要注意哪些问题?总体而言,不能一口一个胖子,路要一步一步地走。下面我将结合企业级数据治理经验,详细介绍从0到1搭建数据治理体系全流程,帮你梳理数据治理的主要内容以及过程中会遇到的哪些坑。
左美美  ̄8 个月前
大数据·数据仓库·flink·flink cdc·数据开发
MySQL到Doris的StreamingETL实现(Flink CDC 3.0)1)安装FlinkCDC2)拖入MySQL以及Doris依赖包将flink-cdc-pipeline-connector-doris-3.0.0.jar以及flink-cdc-pipeline-connector-mysql-3.0.0.jar防止在FlinkCDC的lib目录下
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据处理·数据开发
ClickHouse(24)ClickHouse集成mongodb表引擎详细解析MongoDB 引擎是只读表引擎,允许从远程 MongoDB 集合中读取数据(SELECT查询)。引擎只支持非嵌套的数据类型。不支持 INSERT 查询。
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据开发
ClickHouse(22)ClickHouse集成HDFS表引擎详细解析这个引擎提供了与Apache Hadoop生态系统的集成,允许通过ClickHouse管理HDFS上的数据。这个引擎提供了Hadoop的特定功能。
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据开发
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析此引擎与Apache Kafka结合使用。Kafka 特性:老版Kafka集成表引擎参数格式:新版Kafka集成表引擎参数格式:
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·postgresql·etl·数仓·数据开发
ClickHouse(20)ClickHouse集成PostgreSQL表引擎详细解析PostgreSQL 引擎允许 ClickHouse 对存储在远程 PostgreSQL 服务器上的数据执行 SELECT 和 INSERT 查询.
车前猛跑1 年前
doris·数据开发
doris基本操作,05-RollupRollup类似于mysql的视图,区别在于视图并没有将数据独立存储,视图是逻辑上的连接。而Rollup将数据独立存储了,玩的是真的。当查询命中Rollup时,会从Rollup表里获取数据,提高查询效率。
车前猛跑1 年前
doris·数据开发
doris基本操作,03-导入数据-Broker LoadBroker load 是异步导入方式,支持的数据源取决于 Broker 进程支持的数据源。因为 Doris 表里的数据是有序的,所以 Broker load 在导入数据的时是要利用doris 集群资源对数据进行排序,相对于 Spark load 来完成海量历史数据迁移,对 Doris 的集群资源占用要比较大,这种方式是在用户没有 Spark 这种计算资源的情况下使用,如果有 Spark 计算资源建议使用 Spark load。
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据处理·数据开发
ClickHouse(19)ClickHouse集成Hive表引擎详细解析Hive引擎允许对HDFS Hive表执行 SELECT 查询。目前它支持如下输入格式:-文本:只支持简单的标量列类型,除了 Binary
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据处理·数据开发
ClickHouse(18)ClickHouse集成ODBC表引擎详细解析ODBC集成表引擎使得ClickHouse可以通过ODBC方式连接到外部数据库.为了安全地实现 ODBC 连接,ClickHouse 使用了一个独立程序 clickhouse-odbc-bridge. 如果ODBC驱动程序是直接从 clickhouse-server中加载的,那么驱动问题可能会导致ClickHouse服务崩溃。 当有需要时,ClickHouse会自动启动 clickhouse-odbc-bridge。 ODBC桥梁程序与clickhouse-server来自相同的安装包.
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据处理·数据开发
ClickHouse(17)ClickHouse集成JDBC表引擎详细解析允许CH通过JDBC连接到外部数据库。要实现JDBC连接,CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据开发
ClickHouse(16)ClickHouse日志引擎Log详细解析这些引擎是为了需要写入许多小数据量(少于一百万行)的表的场景而开发的。这系列的引擎有:引擎:数据存储在磁盘上。
张飞的猪1 年前
大数据·数据库·数据仓库·clickhouse·etl·数仓·数据开发
ClickHouse(15)ClickHouse合并树MergeTree家族表引擎之GraphiteMergeTree详细解析GraphiteMergeTree该引擎用来对Graphite数据(图数据)进行瘦身及汇总。对于想使用ClickHouse来存储Graphite数据的开发者来说可能有用。