大数据

todoitbo12 分钟前
大数据·数据库·报表·国产数据库
报表总在扫大表,列存储应该放在哪一层订单系统的明细表通常按交易写入:一笔订单一行,客户、渠道、金额、时间和状态放在同一条记录里。这样的行存布局适合新增订单、修改状态、按订单号查详情。等到月底做经营分析,查询只需要日期、区域和金额,却要把整张宽表一行行读出来,磁盘和内存都在为没有用到的列付出代价。
深海里的鱼(・ω<)★23 分钟前
大数据·elasticsearch·gitea
SMB备份导致的 Gitea 分支推送成功但界面不可见故障复盘环境:Gitea 1.24.3(Docker 部署,数据目录 ./gitea 挂载到容器 /data) 结论先行:迁移链路中 rclone(SMB 后端)挂载不保存 Linux 执行权限位,导致旧仓库的 Git hook 脚本全部变成 644/664 失去执行权限;Git 对不可执行的 hook 设计为静默跳过,于是 push 写入 git 磁盘成功、但负责把分支同步进数据库的 hook 从未执行,Gitea 界面/API 读的是数据库 branch 表,因此"显示成功但看不到"。
zhangzeyuaaa35 分钟前
大数据·数据仓库
StarRocks 的技术版图:在分析、检索与流处理之间找到位置一句话定位:StarRocks 是一个用 C++ 与 Java 构建的 MPP 分析型数据库,强项在于复杂多表关联与实时 Upsert 的稳定承载;它与 ClickHouse 在同一赛道正面竞争,与 Elasticsearch 在“检索 vs. 分析”的边界上互补,与 Apache Doris 同源分流,而与 Flink 则是上下游的协作搭档。
漫步人生走在路上44 分钟前
大数据·javascript·网络·数据库·人工智能·搜索引擎
外贸SEO中的品牌词与产品词策略:大卖家和小卖家的不同打法我是外贸运营,公司产品是工业风机,主要出口到矿山、冶金和电力行业。这几年接触过不少同行,有大厂出来的运营总监,也有三五个人小团队的外贸SOHO。聊下来发现一个规律:大家用的工具差不多、方法差不多,但效果天差地别。问题往往不在“做没做”,而在“做的是不是适合自己这个阶段的事”。
2503_931712481 小时前
大数据·人工智能·microsoft
数据服务公司怎么帮助企业更高效找到行业数据与商业情报在企业研究工作里,很多人真正卡住的地方,不是不会分析,而是找不到合适的数据,不知道哪些信息能用,也分不清哪些内容只是热闹,哪些内容真的能支撑判断。尤其是在科技与产业领域,变化快、链条长、专业门槛高,如果还靠零散搜索、人工整理和经验猜测,研究效率很容易掉下来,结论也容易失真。
AI Workforce1 小时前
大数据·人工智能·ai·架构·prompt
数据质量:4 层去重 + 黑名单机制——宁可漏杀,不可错杀这是《AI数字员工系统设计与企业自动化实战》日志连载第 34 篇 作者:老高FDE-AI实战前沿 深度聚焦:企业AI落地实战、AI-Workforce、AI数字员工实战、企业Agent组织设计、企业Agent架构搭建
星辰云-1 小时前
大数据·人工智能·机器学习·数据分析·毕设·文物修复·壁画修复
基于机器学习的敦煌壁画修复数据分析系统摘要:本文完整分享一个"AI + 文物保护"方向的数据分析系统——以敦煌莫高窟 657 幅真实破损壁画为对象,结合文物材质检测数据与环境监测数据,用机器学习预测文物劣化趋势,并自动生成科学修复方案。系统包含数据大屏、壁画档案、环境监测、劣化预测、修复方案、数字修复演示六大模块,回归模型 5 折交叉验证 R²=0.95,修复方案推荐准确率 97%。文中给出核心代码、完整实现思路,以及 4 个只有真正跑过项目才会遇到的"坑"。
Raas1002 小时前
大数据·网络·人工智能·机器学习·数据挖掘·ai agent
MemT-1.0 接入设计指南:硬件核算、三方案选型与写入触发点概要MemT-1.0 昨天开源,很多人第一反应是要不要接。这篇不谈它有多强,谈接入前必须算清楚的三笔账:硬件够不够、和长上下文及 RAG 怎么分工、记忆写入的触发点放在哪。 读完你能拿走三样东西:一份按参数量推算的显存需求表、一张三种方案的选型对照表、一段可以直接照着填的接入设计清单。
小熊美家熊猫系统2 小时前
大数据·科技
从“科技兴商“意见看家政行业:可追溯体系的技术实现路径10月19日,国务院新闻办举行发布会,商务部等9部门联合发布《关于加快推进科技兴商的意见》,共18条举措。其中面向家政领域,商务部市场体系建设司司长孟岳明确了两个技术方向:鼓励家政企业与科技企业合作打造智能家政服务平台,推动服务评价、服务流程线上可追溯;支持建设智慧养老机构,通过智能穿戴设备、人体感知监测技术实现健康监测、紧急救助。
pjj198542 小时前
大数据·分布式·spark
Spark RDD 核心知识详解:算子、依赖与执行模型上一篇我们聊了 Spark 是什么、它有哪些模块、整体架构长什么样。这篇继续往里钻一层,专门讲 Spark 的核心抽象——RDD。你会搞清楚 RDD 到底是个什么东西、有哪些算子可以用、Spark 又是怎么把一个作业拆开来并行执行的。
Aloudata2 小时前
大数据·人工智能·数据分析·data·语义层
Data Agent vs AI Native BI:企业数据分析的下一代入口到底是什么?Data Agent 与 AI Native BI 并不是简单替代关系。AI Native BI 以分析平台为核心,用 AI 重构问数、探索、建模和可视化体验;Data Agent 则以业务目标为入口,可以跨数据、工具和分析技能自主规划并完成多步骤任务。对于固定看数、自助探索和可视化分析,AI Native BI 仍是高效工作台;当需求从“给我一个答案”升级到“帮我分析原因、验证假设并完成任务”时,Data Agent 更接近下一代统一分析入口。
pjj198542 小时前
大数据·sql·spark
Spark SQL 核心知识详解:DataFrame、DSL 与数据源前两篇我们把 Spark 的整体架构和 RDD 讲完了。这一篇转向 Spark SQL——也就是 Spark 里专门用来处理结构化数据的模块。你会搞明白 DataFrame 是什么、SQL 风格和 DSL 风格各自的写法、窗口函数和炸裂函数怎么用、以及 Spark 怎么和 MySQL、Hive 这类外部系统打交道。
凤山老林2 小时前
大数据·数据库·算法
授权模型只会RBAC?深入 ABAC 授权模型,实现权限判断做成策略引擎不少团队做权限,第一反应是 RBAC。我们一开始也是这套:用户挂角色,角色挂菜单,菜单上放几个操作权限点。早期后台功能少,账号也少,完全够用。
starzy19902 小时前
大数据·数据结构·kafka
KafkaProducer 源码深度剖析:支撑高吞吐的数据结构设计很多人写 Producer 封装会用 ConcurrentHashMap<TopicPartition, Queue<ProducerRecord>>——每来一条消息塞进去,后台线程消费。功能上没问题,但性能差一个数量级。
饼饼学习空间智能2 小时前
大数据·深度学习·机器学习
机器人规模化部署平台怎么选?Fleet、VDA 5050、多机器人调度与运营闭环解析机器人从10台试点走向100台、1000台部署后,真正需要的已经不是一套“机器人监控后台”,而是能够完成批量接入、任务调度、异构协同、场景联动、版本管理、运营监控和数据回流的规模化部署平台。
geovindu2 小时前
大数据·数据库·数据仓库·sql·mysql·数据库开发·数据库架构
sql:SQL Views and Materialized Views using mysql 9.0在万亿数据、高并发的国际化业务场景下,SQL 查询的抽象能力与性能取舍直接决定系统架构的成败。本文以国际化珠宝集团 OA / ERP / CRM / HRM / MES / SCM / WMS / KMS 八域业务为背景,通过 MySQL 9.0 完整可运行的演示脚本,系统讲解视图(View)与物化视图(Materialized View)的原理、用法与性能差异。
浔溺2 小时前
大数据·分布式·spark
Spark核心基石:RDD全方位深度解析(原理、算子、实战、优化)在大数据计算领域,Spark 凭借内存级高速计算的优势,彻底颠覆了传统 MapReduce 离线计算的低效问题。而支撑 Spark 高性能、高容错、分布式计算的核心底层抽象,就是 RDD(Resilient Distributed Dataset,弹性分布式数据集)。
Sayai3 小时前
大数据·运维·elasticsearch·搜索引擎·性能优化·监控
Elasticsearch Rollup 汇算索引实战:监控指标多粒度预聚合查询,附 painless 时间窗取每日最新值监控平台的性能指标写入 Elasticsearch 之后,最高频的一类需求是"拉长时间看趋势":某个数据库实例过去一个月每小时的平均连接数、某台主机近两周每天的最大 CPU 使用率、某次巡检周期内每天固定时刻的内存快照。如果这些统计直接在按天滚动的原始指标索引上做 date_histogram 聚合,等于每次查询都要把上亿条明细重新扫一遍——查的时间范围越长,集群越吃力,曲线还越慢。
ha_lydms3 小时前
xml·大数据·hadoop·spark·数据处理·dataworks·maxcompute
Xml Functions(XML 函数)原文:Apache Spark SQL — Xml Functions本分类按照 Spark SQL 官方目录函数顺序整理,共 12 个函数。
科创致远3 小时前
大数据·数据库·人工智能·制造
ESOP 电子作业指导书车间无纸化实战评测在制造业数字化转型的浪潮中,纸质作业指导书(SOP)更新滞后、版本混乱,导致一线员工操作失误频发,直接影响产品良率。无纸化电子作业指导系统(E-SOP)正是破解这一痛点的关键——它不仅是把 PDF 放到屏幕上,更是一套涵盖硬件选型、数据同步、交互设计与极端环境稳定性的系统工程。本文基于真实部署经验,为不同规模的制造企业提供一份可操作、避坑的实战指南。业指导书(SOP)更新滞后、版本混乱,导致一线员工操作失误频发,直接影响产品良率。无纸化电子作业指导系统(E-SOP)正是破解这一痛点的关键——它不仅是把 P