大数据

大大大大晴天2 小时前
大数据
浅聊维度建模中的星型模型与雪花模型星型模型和雪花模型都以事实表与维度表为基础,区别主要在于维度如何组织:星型模型把一个业务实体的描述属性集中在一张维度表中,事实表直接连接各维度;雪花模型进一步规范化维度,把品类、地区、组织等层级拆成多张关联表。
数字新视界7 小时前
大数据·人工智能·数据中心·机房管理·模块化机房
能耗管理系统提升企业能源效率的实践与展望能耗管理系统是一个综合性的平台,旨在监测,分析和优化企业的能源使用。通过实时的数据采集和智能分析,这些系统能帮助企业找出能源浪费的根源,以便制定相应的改进措施。随着全球对可持续发展的关注不断加深,企业提高能源使用效率的紧迫性日益显著。有效的能耗管理不仅能降低运营成本,还能增强企业在市场中的竞争力。在这种背景下,能耗管理系统的重要性愈发明显,成为推动行业向绿色转型的重要工具。通过这些系统,企业可以遵循环境保护原则,实现经济与环境效益的双赢。以下表格展示了这方面的主要功能和相关优势:
大大大大晴天7 小时前
大数据
别让金额越算越多:事实表与维度表设计避坑指南完成数据仓库分层后,DWD 层通常已经沉淀出交易、支付、退款、用户等标准化明细数据。但“数据已经清洗干净”并不等于“数据已经适合分析”:订单金额应按下单时间还是支付时间统计?一次订单拆成多次支付后,订单金额还能否直接求和?用户修改城市后,历史订单应归入原城市还是新城市?
如夏倾城9 小时前
大数据·网络·人工智能·网络安全·云原生·架构·kubernetes
入侵检测系统(IDS)原理、部署模式与 IPS/防火墙对比本文系统梳理了入侵检测系统(IDS 即 Intrusion Detection System)的核心概念与工程实践。首先说明 IDS 作为被动式安全设备「只检测、不干预」的本质定位;随后按监控范围划分 HIDS、NIDS、AIDS 三类,并对比签名检测与异常检测两种工作原理的适用边界。在部署层面,通过 Mermaid 拓扑图分别呈现 Passive 旁路(SPAN/TAP 镜像流量)与 Inline 串联(数据包进入转发路径)两种模式的数据流向与风险点。针对 IDS 响应滞后的固有局限,本文给出 Suri
wuyk5559 小时前
大数据·爬虫·python·elasticsearch
Spider-第20讲-综合实战可上线爬虫本讲目标:把前 19 讲的能力拼成一个可配置、可增量、可并发、可恢复、可交付的完整项目。 配套代码:spiders/s20_capstone.py 运行:python spiders/s20_capstone.py(可加 --reset / --pages 2 / --workers 8) 本讲产物:data/output/s20_books.csv + data/output/s20_图书报表.xlsx
培培说证9 小时前
大数据
大数据与会计专业性价比高的证书有哪些?大数据与会计专业的考证选择,既要考虑财务核算、税务处理等传统岗位要求,也要关注数据整理、经营分析和财务数字化应用能力。证书的性价比,不只是报名费高低,更取决于报考门槛、备考投入,以及所学内容能否用于目标岗位。
伞伞悦读12 小时前
大数据·人工智能·python·深度学习·机器学习
【第90期】KNN分类回归流水线与K值对照的实验与排查系列:《从小白到 AI 大模型开发工程师的进阶之路》 技术点:AI-0312 KNN 分类与回归 主人公:小蓝伞 前置:AI-0311、AI-0303 本期产出:scikit-learn KNN 项目
老余说AI12 小时前
大数据·运维·人工智能
跨境电商、课程出海:六款多语言视频翻译工具选型指南本篇从语言覆盖的真实性、翻译质量的分层差异、多语言交付的完整度三个维度,对当前主流视频翻译工具做一轮评估,供跨境电商和课程出海团队选型参考。
starzy199012 小时前
大数据·hadoop·hdfs
Structured Streaming 模块与编程模型:引擎内部到底由什么组成摘要:会用 readStream / writeStream 只是入门。真正写出能长期稳定运行的流式任务,需要知道引擎内部有哪些模块、它们怎么协作、每个 trigger 里到底发生了什么。本文拆开 Structured Streaming 的五层模块(Source、StreamExecution 执行引擎、StateStore、Checkpoint、Sink),讲清编程模型的三层抽象,并逐帧还原一个微批从读数据到提交 offset 的完整执行链路。
Lansonli12 小时前
大数据·分布式·spark
大数据Spark(九十二):Spark WebUI介绍文章目录Spark WebUI介绍一、Spark Master WebUI二、Spark Worker WebUI
AI_Auto14 小时前
大数据·架构·制造
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?开启第三大部分"干什么";把转型价值效益分为生产运营优化、产品/服务创新、业态转变三大类,分别说明价值来源与具体表现。
注塑机数据采集联网15 小时前
大数据·网络·物联网·数据挖掘·注塑机网关
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台摘要:本文围绕注塑机智能数据采集联网网关 ZK-D1/D3 展开,说明它如何通过力劲(LK)注塑机控制器的通信接口读取工艺与运行数据,并进一步完成数据清洗、协议转换与 MES/IOT 平台对接,最后给出典型部署拓扑、点位规划与实施排错要点。
黑十1 天前
java·大数据·前端·数据库·人工智能
FDE 怎么快速搭一个可演示页面?最小前端方案很多 FDE 后端出身,AI 逻辑写得好,一到演示就卡在界面。其实给客户看的 demo 页面不需要复杂前端,半天就能搭出来。 这篇按方案从简到繁分 4 档:现成聊天组件、单页 HTML、低代码模板、正式项目再上框架。核心是 demo 阶段目标是"能演示、看得懂",不是做产品级前端,客户看的是问题被解决,不是界面多华丽。
Databend1 天前
大数据·数据库·数据分析
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum导读:OpenRaft 为 Databend Meta Service 提供共识机制。自定义 membership 让应用按节点数量、权重和部署拓扑选择 quorum。本文介绍 5 种实现及其故障取舍,并通过完整的加权 KV 示例,说明如何初始化集群、在次机房故障时继续运行,以及恢复副本。
Databend1 天前
大数据·数据库·sql
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战导读:支付请求为什么变慢,失败订单涉及多少金额?把 OpenTelemetry 的日志、链路和指标接入 Databend Cloud 后,数据工程师可以用熟悉的 SQL 逐步查清这些问题。本文通过一个电商 Demo,演示从数据接入、调用链还原到业务影响分析的过程,并讨论云原生湖仓为何适合承载这类数据。
上海潭龙东海科技有限公司1 天前
大数据·网络·数据库·算法·重构
智慧堆场动态模型三维实时孪生重构智能管控智慧堆场动态模型三维实时孪生重构智能管控技术方案 一、项目背景 当前港口散货堆场、集装箱堆场普遍存在场景动态变化快、物料形态实时更迭、堆位状态更新滞后、设备作业动态无法同步、监控视野碎片化、数据与场景脱节等行业痛点。传统堆场数字孪生多为静态建模、定期手动更新模型,无法适配料堆增减、集装箱堆叠变动、机械移动、车流作业等高动态场景;传统视频监控为二维独立画面,无法实现空间量化、体积测算、动态目标连续追踪;堆场设备PLC数据、作业数据、安防数据分散独立,无法与三维场景实时联动,导致调度滞后、安全盲区多、复盘溯源
尹文祥1 天前
大数据
Apache Doris 2.1.10:存储结构、索引与查询优化详解适用版本:Apache Doris 2.1.10 主题:列式存储、Tablet / Rowset / Segment / Page、Prefix Index、ZoneMap、Ordinal Index、压缩编码、向量化执行及查询性能排查。 说明:文中的行数、Offset、Page 大小和耗时均为教学示例,不代表 Doris 固定配置或实测值。实际支持能力与执行路径以 Doris 2.1.10 对应表模型、索引配置和源码为准。
isfox2 天前
大数据
Hadoop 序列化:为什么不用 Java 自带 Serializable?在分布式系统里,数据要在节点之间网络传输,也要落盘存储。序列化就是干这个的——把内存里的对象变成字节流,到了目的地再还原回来。
字节跳动数据平台2 天前
大数据
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透知识引擎VeKnow是火山引擎数据平台推出的「企业级 AI 知识平台」,提供从知识接入、加工处理、知识建模到智能应用的全链路知识管理与应用能力,构建企业AI应用的上下文体系。而落地 AI 知识底座不仅是引入一个产品,仍需体系化的实施策略与配套保障,本文将带你了解如何从0到1落地知识引擎VeKnow。
AI源码2 天前
大数据·分布式·spark
基于Spark的期刊推荐系统的设计与实现本系统是面向学术投稿场景的期刊智能推荐平台。用户输入待投稿论文的标题、摘要与关键词后,系统基于 Apache Spark(PySpark MLlib)训练的文本分类模型,从 PubMed 生物医学公开数据中学习到的 469 本真实期刊里,返回 Top-5 投稿备选,并展示 ISSN、出版社、学科等元数据。