大数据

bksczm19 分钟前
大数据·数据库·mysql
InnoDB 通用表空间与临时表空间详解InnoDB 的表空间按用途可分为四类:系统表空间、独立表空间、通用表空间、临时表空间。前两类已在其他文章中展开,本文聚焦后两类——通用表空间解决“表太多导致文件太碎”的问题,临时表空间承载会话级临时数据并在设计上放弃了崩溃恢复。两者一个追求文件数量可控,一个追求生命周期最短。
阿里云大数据AI技术1 小时前
大数据·人工智能
AI 原生大数据服务 ADA 快速入门:完成首次对话式数据分析AI 原生大数据服务致力于将智能体(Agent)技术与大数据、AI 引擎深度融合,为企业提供新一代数据生产力平台。通过自然语言交互,ADA 帮助企业高效完成复杂的大数据任务,加速数据决策。
衡石科技2 小时前
大数据·人工智能·安全·商业智能
企业级 BI 的安全治理:衡石如何贯通认证、数据权限与审计集团企业和软件厂商把 BI 开放给分公司、供应商或 SaaS 客户时,销售明细、客户资料与财务指标会进入更多人的工作流程。项目需要同时明确谁能登录、能访问哪些数据、可以完成哪些操作,以及事后如何核对操作对象和结果。组织和客户不断增加后,这些关系还需要持续维护。
yyk333245 小时前
大数据·flink
Flink详细讲解Flink是大数据里面的运算框架,它替代了MapReduce,按照流处理方式来处理数据,流处理指的是一条一条地处理数据。同时它也支持“流批一体”,把批处理看作是有界流。
用户46043852250866 小时前
大数据
关于paimon-rust 数据写入链路本文基于 paimon-rust 源码整理,涵盖写入时序、Catalog / Database / Table 的创建与获取,以及两阶段提交的核心机制。
数字融合8 小时前
大数据·人工智能·python
透明化视频驱动化工生产动态三维重建管控技术化工生产属于高危连续化作业场景,装置管线密集、介质易燃易爆,传统监控多依赖独立摄像头画面、点位传感器与静态三维模型,存在视角割裂、模型更新滞后、隐蔽风险难发现等痛点。透明化视频驱动的动态三维重建管控技术,以现场实时视频流为基础,融合空间计算、AI视觉识别与透明化渲染能力,构建化工装置虚实同步的动态孪生空间,实现生产状态、设备工况、环境风险的一体化穿透式管控,为化工安全生产提供全新技术路径。 传统化工管控模式短板突出。早期数字孪生大多依靠人工测绘建模,模型建成后更新周期长,设备技改、管线改动无法同步更新,虚
演艺大赏9 小时前
大数据·hadoop
两个 NameNode 一起起不来以及Hadoop 3.3.2 里那个认不出自家 JournalNode 的 Servlet时间:2026 年 9 月 环境:Hadoop 3.3.2,HDFS NameNode HA(2 台 NN + 3 台 JournalNode,QJM 共享 edits),Kerberos 已开启 起因:承载 JournalNode 的主机异常重启 结果:两个 NameNode 全部无法启动,HDFS 集群不可用,Hive / Spark / Kyuubi / HBase / Trino 全线受影响 根因:Hadoop 3.3.2 的 GetJournalEditServlet 在 Kerberos 环境
知行产研9 小时前
大数据·人工智能
会感知、能协同,金科【钻孔】智能化路线 | bauma CHINA 2026知行产研:矿山无人驾驶产业观察第一平台这是《宝马展露天矿山无人化十大看点系列》的第 1 篇文章当无人驾驶矿卡、智能调度和远程操控成为智慧矿山的高频词,钻孔环节也在发生变化。
演艺大赏9 小时前
大数据·hadoop·hbase
RESTServer 起不来,日志只有一行:headerCacheSize 65536 exceeds maximum value of 65534关键词:HBase 2.3.4、RESTServer、Stargate、Jetty、HttpConfiguration、headerCacheSize、Character.MAX_VALUE、javap 反汇编、Kerberos、SPNEGO、hbase.rest.http.header.cache.size、Thrift2
Databend10 小时前
大数据·数据库·agent
活动邀请函|AI 时代的湖仓实践,从应用场景到 Cloud Agent 上手AI 正在推动企业数据平台向分析与智能应用融合的方向演进,湖仓成为这一趋势中的重要架构选择。通过统一管理业务表、日志、文档和图片等数据,并结合分析、检索与 AI 能力,湖仓可以承载经营报表、用户行为分析,也能支撑企业知识库问答、客服工单分析和文档信息提取等业务场景。对企业而言,其价值在于让同一份数据在统一的权限与治理体系下服务于多种应用,减少数据搬运和维护多套系统的负担。
数字新视界1 天前
大数据·人工智能·物联网·信息与通信·动环监控系统
数据中心DCIM管理系统助力提升机房管理效率与安全性数据中心DCIM管理系统整合了多项重要功能,为机房管理提供了强有力的支持。第一,这套系统具备电力监测功能,能够实时跟踪和分析电力使用情况,帮助运维人员有效优化能源消耗。第二,温湿度管理功能确保机房环境保持在最佳状态,有效防止设备因过热或潮湿而出现故障。此外,该系统还具有资源调度能力,通过智能化资源配置,提升运维工作效率。借助数据可视化技术,用户能够直观地掌握机房状况,从而及时作出决策。这些功能的结合,不仅提高了数据中心的工作效率,同时也有效保障了安全性和稳定性。以下表格列出了DCIM管理系统的一些主要优势
阿里云大数据AI技术1 天前
大数据·人工智能·agent
孩子王基于阿里云Data Agent的智能体实践:300+Agent 覆盖400+业务场景孩子王是一家全国性母婴企业,在全国300多个城市拥有近4000家连锁门店,线上线下服务近9000万用户。近一年,孩子王与阿里云合作,依托 DataWorks Data Agent 产品能力搭建数据智能体平台,构建 300 多个业务智能体,渗透全业务全链路400多个业务场景。
武子康1 天前
大数据·人工智能·算法
H3-World 扩展跳跃与开门:新动作怎样进入训练数据?作者机制示意或待执行语义对齐安排;没有游戏、模型或训练实测。你给自采集器加上了 Space 键,录到角色跳起,也在 提示词 里写了“the man jumps”。如果仍把这批数据交给原来的 H3-World 动作标注脚本,训练真的能看到这次跳跃吗?
软件技术NINI1 天前
大数据·人工智能
DeepSeek 大模型落地应用实战指南在企业日常运营中,我们常常面临这样的困境:海量的内部文档沉睡在服务器角落,新员工入职一周还在反复询问基础流程;营销团队为了赶热点,熬夜撰写几十版文案却难以统一品牌语调;开发人员在排查复杂 Bug 时,花费数小时翻阅日志却找不到根源。这些场景不仅消耗了大量宝贵的人力成本,更拖慢了企业的响应速度与创新节奏。随着大语言模型技术的成熟,将这些痛点转化为自动化、智能化的解决方案已不再是遥不可及的构想,而是触手可及的现实生产力。
wuyk5551 天前
大数据·爬虫·elasticsearch·搜索引擎
Spider-第11讲-工程化改造与可维护性本讲目标:把「跑演示能用」的脚本,变成「敢让它无人值守跑一整晚」的工程。 四件套:日志、重试、限速、断点续爬。它们不是优化,是及格线。
墨林陌1 天前
大数据
AI 热点日报(2026-11-16):黄仁勋或重返英伟达,华为发具身世界模型,ChatGPT Wallet打通支付今日AI领域核心焦点:英伟达暗盘股价直线拉升超4%,英国金融时报报道黄仁勋正考虑重返英伟达担任CEO,马斯克等硅谷盟友游说董事会'让黄仁勋回来'。国内,华为云今日发布首款昇腾原生具身世界模型CloudRobo WM1.2;阿里拟分拆平头哥赴港独立上市。模型端,谷歌上线新一代高速代理模型Gemini 4 Hydrogen、DeepSeek开放全栈App能力API。应用端,OpenAI推出ChatGPT Wallet打通智能体支付,Meta Muse可代拨商家电话,Anthropic IPO在即。
starzy19901 天前
大数据·spark
Structured Streaming 结构化流概述:把流数据当作一张无限增长的表摘要:Structured Streaming 是 Spark 2.x 之后官方主推的流计算引擎,它把"流"抽象成一张无限追加的表,让你用写批处理 SQL 的方式写实时任务,还顺带解决了事件时间、迟到数据和端到端 Exactly-Once 这三座大山。本文从编程模型、输出模式、水位线、状态管理和容错语义五个维度把它的核心设计讲透,最后给出与 DStream 的对比和选型建议。
wuyk5551 天前
大数据·爬虫·elasticsearch·搜索引擎
Spider-第12讲-asyncio异步并发爬取本讲目标:把串行爬虫的「等待」,用 asyncio + aiohttp 重叠起来。 讲清串行 vs 并发的真实差距、Semaphore 怎么管并发上限、以及三个新手必踩的坑。
筑梦之人1 天前
大数据·elasticsearch·jenkins
Elasticsearch 9.x 从入门到精通(4/7):聚合分析与文本分析系列文章:《Elasticsearch 9.x 从入门到精通》共 7 篇,本篇为第 4 篇,覆盖第 17~20 章。 基线:Elasticsearch 9.x 源码 main 分支(34eafb4ac58d,Version.CURRENT = V_9_7_0)与官方全量文档。 写作纪律:每个知识点标注官方文档出处,涉及实现原理均给出源码锚点 路径:行号,禁止编造 API。
数字新视界2 天前
大数据·人工智能·物联网·信息与通信·动环监控系统
信创动环监控在机房环境管理中的智能化应用与实践分析信创动环监控技术是机房环境管理中不可或缺的工具,近些年来在智能化应用方面取得了显著进展。该技术结合了传感器、数据分析和人工智能,实现了对机房内部环境的实时监测与管理。随着物联网和云计算的快速发展,信创动环监控不仅提高了数据获取的准确性,还能够迅速对异常情况作出反应,从而增强机房管理的安全性与效率。 通过智能报警系统,管理人员可以在设备出现故障或环境条件异常时,及时接收到警报并采取相关措施。这项技术的发展趋势涵盖了更加灵活的操作界面、智能的数据分析能力以及依托大数据支持的多维度决策机制。此外,该领域还将进一