大数据

Lansonli10 分钟前
大数据·分布式·spark
大数据Spark(九十二):Spark WebUI介绍文章目录Spark WebUI介绍一、Spark Master WebUI二、Spark Worker WebUI
AI_Auto2 小时前
大数据·架构·制造
数字化转型工作手册⑨|干什么①:数字化转型能拿到哪三类价值效益?开启第三大部分"干什么";把转型价值效益分为生产运营优化、产品/服务创新、业态转变三大类,分别说明价值来源与具体表现。
注塑机数据采集联网2 小时前
大数据·网络·物联网·数据挖掘·注塑机网关
注塑机智能数据采集联网网关 ZK-D1/D3 如何读取力劲注塑机控制器数据并对接 MES/IOT 平台摘要:本文围绕注塑机智能数据采集联网网关 ZK-D1/D3 展开,说明它如何通过力劲(LK)注塑机控制器的通信接口读取工艺与运行数据,并进一步完成数据清洗、协议转换与 MES/IOT 平台对接,最后给出典型部署拓扑、点位规划与实施排错要点。
黑十19 小时前
java·大数据·前端·数据库·人工智能
FDE 怎么快速搭一个可演示页面?最小前端方案很多 FDE 后端出身,AI 逻辑写得好,一到演示就卡在界面。其实给客户看的 demo 页面不需要复杂前端,半天就能搭出来。 这篇按方案从简到繁分 4 档:现成聊天组件、单页 HTML、低代码模板、正式项目再上框架。核心是 demo 阶段目标是"能演示、看得懂",不是做产品级前端,客户看的是问题被解决,不是界面多华丽。
Databend20 小时前
大数据·数据库·数据分析
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum导读:OpenRaft 为 Databend Meta Service 提供共识机制。自定义 membership 让应用按节点数量、权重和部署拓扑选择 quorum。本文介绍 5 种实现及其故障取舍,并通过完整的加权 KV 示例,说明如何初始化集群、在次机房故障时继续运行,以及恢复副本。
Databend21 小时前
大数据·数据库·sql
用 SQL 排查支付故障,OpenTelemetry 接入 Databend Cloud 实战导读:支付请求为什么变慢,失败订单涉及多少金额?把 OpenTelemetry 的日志、链路和指标接入 Databend Cloud 后,数据工程师可以用熟悉的 SQL 逐步查清这些问题。本文通过一个电商 Demo,演示从数据接入、调用链还原到业务影响分析的过程,并讨论云原生湖仓为何适合承载这类数据。
上海潭龙东海科技有限公司21 小时前
大数据·网络·数据库·算法·重构
智慧堆场动态模型三维实时孪生重构智能管控智慧堆场动态模型三维实时孪生重构智能管控技术方案 一、项目背景 当前港口散货堆场、集装箱堆场普遍存在场景动态变化快、物料形态实时更迭、堆位状态更新滞后、设备作业动态无法同步、监控视野碎片化、数据与场景脱节等行业痛点。传统堆场数字孪生多为静态建模、定期手动更新模型,无法适配料堆增减、集装箱堆叠变动、机械移动、车流作业等高动态场景;传统视频监控为二维独立画面,无法实现空间量化、体积测算、动态目标连续追踪;堆场设备PLC数据、作业数据、安防数据分散独立,无法与三维场景实时联动,导致调度滞后、安全盲区多、复盘溯源
尹文祥1 天前
大数据
Apache Doris 2.1.10:存储结构、索引与查询优化详解适用版本:Apache Doris 2.1.10 主题:列式存储、Tablet / Rowset / Segment / Page、Prefix Index、ZoneMap、Ordinal Index、压缩编码、向量化执行及查询性能排查。 说明:文中的行数、Offset、Page 大小和耗时均为教学示例,不代表 Doris 固定配置或实测值。实际支持能力与执行路径以 Doris 2.1.10 对应表模型、索引配置和源码为准。
isfox1 天前
大数据
Hadoop 序列化:为什么不用 Java 自带 Serializable?在分布式系统里,数据要在节点之间网络传输,也要落盘存储。序列化就是干这个的——把内存里的对象变成字节流,到了目的地再还原回来。
字节跳动数据平台1 天前
大数据
火山引擎 VeKnow 落地指南(下):从知识编译到价值渗透知识引擎VeKnow是火山引擎数据平台推出的「企业级 AI 知识平台」,提供从知识接入、加工处理、知识建模到智能应用的全链路知识管理与应用能力,构建企业AI应用的上下文体系。而落地 AI 知识底座不仅是引入一个产品,仍需体系化的实施策略与配套保障,本文将带你了解如何从0到1落地知识引擎VeKnow。
AI源码1 天前
大数据·分布式·spark
基于Spark的期刊推荐系统的设计与实现本系统是面向学术投稿场景的期刊智能推荐平台。用户输入待投稿论文的标题、摘要与关键词后,系统基于 Apache Spark(PySpark MLlib)训练的文本分类模型,从 PubMed 生物医学公开数据中学习到的 469 本真实期刊里,返回 Top-5 投稿备选,并展示 ISSN、出版社、学科等元数据。
玩美数据1 天前
大数据·人工智能
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读在2026年,海外市场数据的洞察为产业升级提供了强有力的推动力。我们通过系统化的数据分析,发现各个行业在应对全球经济变化中的表现和战略调整。例如,在北美市场,随着消费结构的重塑,数据表明消费者偏好向可持续和高科技产品倾斜,而这为相关企业提供了新的增长机会。在东南亚地区,我们观察到流量与转化趋势的加速变化,这促使我们深刻理解新兴增长极的重要性。同时,欧洲市场在政策法规影响下,其产业数据演变蕴含着深入机遇与挑战,这些信息无疑对我们的国际布局战略起到了指引作用。通过整合这些多维度的数据,我们不仅能够把握当下的信
wuyk5552 天前
大数据·爬虫·python·elasticsearch·搜索引擎
Spider-第16讲-线程池与竞态问题本讲目标:用线程池把「等待」重叠起来,几十行改动换来十倍提速; 同时亲手踩两个只有多线程才有的坑——Session 不线程安全、共享状态不加锁会真的丢数。
数字新视界2 天前
大数据·人工智能·数据中心·机房管理·模块化机房
全国产化动环监控平台在机房智能化管理中的应用探索全国产化动环监控平台具备多项卓越特色,使其在机房智能化管理中发挥了重要功能。第一,它提供了实时的数据监控和分析功能,可以迅速捕捉设备运行中的异常情况。这一特性不仅提高了运维效率,还改善了故障处理流程,减少了设备的停机时间。其次,平台通过集中管理多台设备,实现了资源的有效整合,从而达到更优化的能耗管理和空间利用效果。 该平台还展现出高度的可扩展性和灵活性,可以根据不同需求进行定制,并与其他智能系统实现无缝对接。例如,在安全性方面,利用深度学习算法,平台能够及时识别潜在风险,包括温湿度异常、电力负载过高等问题
TDengine (老段)2 天前
大数据·数据库·人工智能·时序数据库·tdengine·涛思数据·idmp
TDengine IDMP 预测、异常检测与数据插补一句话:IDMP 内置 TDgpt 时序 AI 能力,不写模型代码就能做三件事——预测未来趋势、判断多变量联合异常、补齐缺失数据。它不替代大模型:大模型负责"解释",TDgpt 负责"算"。
字节跳动数据平台2 天前
大数据
火山引擎 VeKnow 落地指南(上):从选场景到知识治理知识引擎VeKnow是火山引擎数据平台推出的「企业级 AI 知识平台」,提供从知识接入、加工处理、知识建模到智能应用的全链路知识管理与应用能力,构建企业AI应用的上下文体系。而落地 AI 知识底座不仅是引入一个产品,仍需体系化的实施策略与配套保障,本文将带你了解如何从0到1落地知识引擎VeKnow。
安心联-车辆监控管理系统2 天前
大数据·人工智能·安全
以事实为基础,详解车辆主动安全相关功能近日,G40 沪陕高速南阳段发生一起营运车辆追尾交通事故,事故造成严重人员伤亡。凌晨深夜时段、驾驶员疲劳驾驶、车辆严重超员、高速近距离跟车等多重风险叠加,是本次事故发生的核心诱因,也暴露出当前道路客运行业动态安全管控仍存在明显短板。
大大大大晴天3 天前
大数据
每天认识一个组件:VictoriaMetricsPrometheus 让云原生监控中的指标采集、查询和告警模型深入人心。一个典型的 Prometheus 监控系统包含:
龙腾AI白云3 天前
大数据·数据库·人工智能·机器学习·知识图谱
具身智能的空间导航与未知环境探索一、移动的基础:定位与建图二、从A到B:路径规划与避障三、去往未知:探索式导航四、语义地图与长期记忆五、人机共空间中的导航
演艺大赏3 天前
大数据·hadoop
三个坑连环套:一次 NameNode 起不来,从 JournalNode 未格式化查到配置里多了个挂载点关键词:HDFS HA、QJM、JournalNode、VERSION 文件、fsimage、edits、txid、NameNode 启动失败、Cloudera Manager 告警、hdfs namenode -bootstrapStandby、initializeSharedEdits