etl

uWvvJWldyYUZ3 天前
etl
单相/三相光伏发电并网/离网simlink仿真(MPPT)或是大功率VSC 最大功率点追踪算法...单相/三相光伏发电并网/离网simlink仿真(MPPT)或是大功率VSC 最大功率点追踪算法(MPPT)仿真模型, 有基于扰动观察法(P&O),恒压算法,电导增量法,变步长扰动 等最大功率点跟踪算法追踪光伏电池的发电曲线,实现最大功率点追踪输出的仿真模型。 目前有两种:1.单级结构的仿真 1.1光伏电池+Buck电路 1.2光伏电池+Boost电路 2.或是两极结构 2.1光伏电池+Buck电路+全桥逆变(任意mppt算法) 2.2光伏电池+Boost电路+全桥逆变(任意mppt算法) 2.3离网三相光
zgl_200537795 天前
大数据·数据库·数据仓库·sql·数据治理·etl·数据血缘
源代码:ZGLanguage 解析SQL数据血缘 之 显示 WITH SQL 结构图# SQL代码如下所示 :# 通过 ZGLanguage + Python 将以上SQL转换成 Echarts 的树结构数据:
且去填词9 天前
数据仓库·人工智能·python·语言模型·etl·schema·deepseek
DeepSeek :基于 Schema 推理与自愈机制的智能 ETL在数据工程领域,最脏最累的活莫过于 ETL (Extract-Transform-Load)。面对格式千奇百怪的日志、扫描件 OCR 出来的乱码文本、或是不断变更的 API 响应,传统的做法是写 正则表达式 (Regex)。
weixin_4462608514 天前
开发语言·python·etl
[特殊字符] Pathway:高效的Python ETL框架,助力实时数据处理与分析在当今数据驱动的时代,能够有效处理实时数据流与批量数据的工具愈加重要。Pathway是一个用于流处理、实时分析、LLM(大语言模型)管道和RAG(实时生成)应用的Python ETL框架。它为用户提供了一个易于使用的Python API,能够无缝集成您喜爱的Python机器学习库。
zgl_2005377915 天前
大数据·数据库·数据仓库·hive·hadoop·sql·etl
ZGLanguage 解析SQL数据血缘 之 提取子查询语句中的源表名# 假设存在 子查询SQL代码 如下:# 若要提取子查询SQL代码中的源表名,可添加 __SUB_SELECT__ 子查询解析配置,如下所示:
、BeYourself18 天前
人工智能·spring·etl·springai
Spring AI ETL Pipeline Transformers 详细指南在RAG(Retrieval-Augmented Generation)系统中,ETL(Extract, Transform, Load)管道是将原始数据转换为AI模型可处理格式的核心组件。Transform阶段负责对文档进行转换,确保数据以最适合AI模型处理的格式存在。
一只大侠的侠19 天前
数据仓库·etl
数据工程新范式“从ETL到ELT的平滑迁移实战指南”在云原生、存算分离技术浪潮下,数据工程领域正经历一场从传统ETL到现代ELT的范式革命。曾经“抽取-转换-加载”的固化流程,已难以适配企业对数据实时性、灵活性的高要求;而ELT“抽取-加载-转换”的倒置逻辑,凭借其对海量数据的高效处理能力、更低的运维成本,成为越来越多企业的首选。
zgl_2005377921 天前
大数据·数据库·c++·数据仓库·sql·数据库开发·etl
ZGLanguage 解析SQL数据血缘 之 提取select语句中的源表名# 假设存在 SQL代码 如下:# 若要提取以上SQL代码中的源表名,可配置语法标注"源表"如下:# 根据语法配置解析结果(导入Excel)如下所示:
奥利文儿22 天前
大数据·数据仓库·人工智能·数据库开发·etl·虚拟机·etl工程师
【虚拟机】Ubuntu24安装Miniconda3全记录:避坑指南与实践引言 最近在Ubuntu 24服务器上部署数据分析环境时,经历了一次完整的Miniconda3安装过程。从终端交互日志来看,整个过程虽然最终成功,但其中不乏值得深思的技术细节和潜在陷阱。本文将深度剖析一次典型的Miniconda安装日志,提取其中的重点、难点与亮点,为同行提供一份详实的参考指南。 📊 安装日志全景扫描 本次安装的基本信息: 安装包:Miniconda3-py313_25.3.1-1-Linux-x86_64.sh 下载方式(清华大学开源软件镜像站):https://mirrors.tun
weixin_307779131 个月前
运维·开发语言·自动化·jenkins·etl
Jenkins Pipeline: Input Step插件详解与实践指南在现代持续集成/持续部署(CI/CD)流程中,完全的自动化虽然是理想目标,但现实中的软件交付往往需要在关键节点介入人工判断、审批或输入。Jenkins Pipeline的Input Step插件(pipeline-input-step)正是为此而设计,它允许流水线在运行过程中暂停执行,等待用户通过界面进行交互操作,从而将自动化流程与必要的人工控制相结合。
weixin_307779131 个月前
开发语言·ci/cd·自动化·jenkins·etl
Jenkins Pipeline 完全指南:核心概念、使用详解与最佳实践Jenkins的Pipeline: Job插件是Jenkins实现“Pipeline as Code”(将流水线定义为代码)理念的核心组件。它重新定义了Job的概念,允许你使用代码(Groovy DSL)来描述从构建、测试到部署的完整软件交付流程。
weixin_307779131 个月前
开发语言·ci/cd·自动化·jenkins·etl
Jenkins声明式流水线权威指南:从Model API基础到高级实践Jenkins的声明式流水线是现代化CI/CD流程的核心,而支撑其实现的关键,正是Pipeline: Model API插件。它定义了一套规则和模型,将复杂的构建流程转化为简洁、易读的配置式脚本。
jinxinyuuuus1 个月前
前端·数据仓库·etl
vsGPU:硬件参数的数据仓库设计、ETL流程与前端OLAP分析设计与前端 OLAP 技术实现的效果感兴趣的读者,可以访问以下链接进行观察与体验:**技术实践观察地址: vsGPU GPU对比工具
RestCloud1 个月前
etl·数据处理·数据集成·etlcloud·数据同步·任务调度·异步数据处理
异步 vs 同步:ETL在任务调度中的架构选择在数据集成与处理领域,任务调度是ETL流程稳定、高效运行的核心环节。面对不同的业务场景与时效要求,如何选择合适的调度方式,直接关系到数据作业的可靠性、资源的利用效率以及运维的复杂度。ETLCloud提供了灵活多样的流程任务调度模式,主要包括同步与异步两大架构方向,涵盖了从即时手动触发到复杂的自动化依赖调度等多种场景。本文将深入解析ETLCloud中几种关键的调度方式,帮助您理解其特点与适用场景,从而根据自身需求做出最适宜的架构选择。
编织幻境的妖1 个月前
数据仓库·etl
ETL、数据仓库与数据湖详解定义:ETL 指将数据从来源端提取、进行清洗转换后加载至目标系统的过程,是数据集成与预处理的核心环节。
weixin_307779131 个月前
运维·开发语言·自动化·jenkins·etl
Jenkins Pipeline共享库(Shared Library)完全指南Jenkins的 Pipeline: Groovy Libraries插件 是实现“流水线即代码”的关键,它通过**共享库(Shared Library)**机制,让团队能将通用的Pipeline逻辑(如构建、部署步骤)封装起来,供所有项目复用,从而大幅提升代码的维护性和标准化水平。
weixin_307779131 个月前
运维·开发语言·自动化·jenkins·etl
Jenkins Pipeline: Multibranch 插件详解:现代CI/CD的多分支管理利器在现代软件开发生命周期中,团队通常采用基于分支的开发策略,如Git Flow、GitHub Flow等。每个功能分支、发布分支或修复分支都需要独立的持续集成验证。传统Jenkins配置要求为每个分支手动创建任务,这不仅繁琐且难以扩展。Jenkins Pipeline: Multibranch插件应运而生,它通过自动发现和管理源代码仓库中的分支,为每个分支创建独立的Pipeline任务,实现了真正的"Pipeline as Code"。
weixin_307779131 个月前
开发语言·ci/cd·自动化·jenkins·etl
Jenkins声明式管道扩展点API:深度解析与应用指南Jenkins Pipeline是现代DevOps实践中实现持续集成与持续交付(CI/CD)的核心工具。其中,Pipeline: Declarative Extension Points API 插件是增强声明式管道(Declarative Pipeline)灵活性和可扩展性的关键。它提供了一套标准的API,允许插件开发者和高级用户在不修改Jenkins核心代码或管道基础语法的情况下,自定义和注入特定逻辑。本文将从其核心概念出发,详细阐述其使用方法、典型应用场景及最佳实践。
weixin_307779131 个月前
开发语言·ci/cd·自动化·jenkins·etl
Jenkins Pipeline: Basic Steps 插件详解在 Jenkins 持续集成与交付(CI/CD)的生态中,Pipeline(流水线)是其核心功能,它允许用户以代码(Pipeline as Code)的形式定义复杂的构建、测试和部署流程。而 Pipeline: Basic Steps 插件正是这一庞大体系中的基石。它并非一个单一、独立的插件,而是一组内置于 Jenkins Pipeline 核心插件套件中的“基础步骤”集合,为编写声明式或脚本式流水线提供了最常用、最不可或缺的操作单元。