大数据

用户3610588626123 小时前
大数据·spark
SparkStreaming 之 updateStateByKey 算子详解及代码实现摘要:前面的算子都是无状态的——每个 batch 算完就丢。但"累计词频""累计销售额""维护会话状态"这类需求,必须跨 batch 记住之前的结果,这就是 updateStateByKey 的用武之地。这篇拆解它最核心的 updateFunc 签名,讲清必须开 checkpoint 的原因,以及两个容易踩的性能坑(全量 key 遍历、状态无限增长),最后说说为什么新项目更该用 mapWithState。
咖啡屋和酒吧5 小时前
大数据·精选
“隐性肩颈紧张”正在透支精力|没有酸痛,不代表肩颈处于健康状态多数人判断肩颈健康的标准,是有无酸痛、僵硬、落枕等明显不适感。身体没有疼痛信号,便默认肩颈状态良好,长期保持不良体态、高强度伏案用眼。康复领域的细微研究指出,现代人普遍存在隐性肩颈紧张问题,躯体无明显痛感,但肌肉长期处于微收缩、紧绷状态,持续消耗身心精力,是莫名疲惫、专注力下滑、睡眠偏浅的核心隐性诱因。
港股研究社6 小时前
大数据·人工智能
专注履约底座,顺丰同城在即时零售效率时代提升增长动能即时零售市场正在起变化。今年以来,杭州、武汉等地均牵头组织主流平台签署即时零售行业自律公约,引导市场从此前的“补贴烧钱”转向“赋能增效”高质量发展。
AI_yangxi8 小时前
大数据·人工智能·矩阵
短视频矩阵系统选哪家当单账号流量触顶,短视频矩阵系统成为企业获取增量市场的常见选择。它集中管理多账号、多平台内容生产与分发,能提升效率、摊薄成本。但市面系统五花八门,选型错误易致资源浪费。与其纠结品牌名气,不如从以下四个维度理性评估。
lupai16 小时前
大数据·python·智能手机·api接口
手机在网状态接口实测效果与质量评估在业务风控、用户注册或营销触达等环节,手机号码的有效性往往是第一道关卡。很多时候,我们面对的不是简单的“空号”或“停机”二元判断,而是更复杂的场景:号码是否处于预销户状态?是否虽然在线但无法接通?亦或是刚刚完成携号转网导致归属地数据滞后?如果仅依靠传统的静态数据库或过时的名单库,不仅准确率难以保证,还可能因为误判导致正常用户被拦截,或者让高风险号码溜进系统。
大模型丫丫18 小时前
大数据·运维·服务器
Hermes Agent:轻量级智能体框架实战指南随着大语言模型(LLM)能力的快速提升,越来越多的开发者开始构建基于 LLM 的智能体(Agent)应用。然而,面对 LangChain、AutoGen 等重量级框架,不少开发者会感到「杀鸡焉用牛刀」——项目规模不大,却要引入大量依赖和抽象概念。
大大大大晴天19 小时前
大数据
每天认识一个组件:SQL网关Apache Kyuubi在传统大数据平台中,Spark 是事实上的通用计算引擎之一,但直接使用 Spark API 对普通数据分析用户并不友好。用户需要理解 Scala、Java、Python、Spark 配置、YARN 或 Kubernetes 资源模型、executor 数量、内存、队列、依赖冲突等问题,这也导致使用门槛高、数据安全风险、客户端兼容性复杂和启动延迟等障碍。
2601_9622184720 小时前
大数据·运维·微服务·云原生·架构
万象生鲜系统冷链物联网接入技术实现生鲜企业温控管理数字化万象生鲜系统的冷链物联网技术具有显著的优势,能够帮助生鲜企业实现温控管理的数字化。通过引入先进传感器、这一系统使企业能够实时监测温度变化存储过程中始终处于安全范围内。这种技术除了提升了食品安全、还有效降低了变质风险。与此同时、系统所具备的数据分析功能有助于企业优化物流等库存管理,提高整体运营效率。另外、数字化管理能提升供应链透明度、为消费者提供产品等溯源信息,进而提升其信任感。这一系列功能共同推动了生鲜行业的数字化升级进程。
2601_9620748120 小时前
大数据·数据库·mysql
大数据-264 实时数仓 - Canal MySQL的binlog研究 存储目录 变动信息 配置MySQL点一下关注吧!!!非常感谢!!持续更新!!!----------------------Java篇开始了!---------* MyBatis 更新完毕* 目前开始更新 Spring,一起深入浅出!目前已经更新到了:---------* Hadoop(已更完)* HDFS(已更完)* MapReduce(已更完)* Hive(已更完)* Flume(已更完)* Sqoop(已更完)* Zookeeper(已更完)* HBase(已更完)* Redis (已更完)* Kafka(已更完)* Spark(已更
2601_9620738120 小时前
大数据·数据库·mysql
大数据-240 离线数仓 - 广告业务 测试 ADS层数据加载 DataX数据导出到 MySQL点一下关注吧!!!非常感谢!!持续更新!!!----------------------Java篇开始了!---------目前开始更新 MyBatis,一起深入浅出!目前已经更新到了:---------* Hadoop(已更完)* HDFS(已更完)* MapReduce(已更完)* Hive(已更完)* Flume(已更完)* Sqoop(已更完)* Zookeeper(已更完)* HBase(已更完)* Redis (已更完)* Kafka(已更完)* Spark(已更完)* Flink(已更完)*
不会写代码的女程序猿21 小时前
大数据·人工智能·科技·ai·健康医疗
养生馆采购 AI 四诊仪,5000 元预算怎么选?不少养生馆、小型理疗店、社区健康门店,计划添置一台智能 AI 四诊仪,用来优化门店服务体验,挖掘到店客户。但中小门店在选型阶段很容易踩坑,要么预算超支,要么购入稳定性差的设备,反而影响日常经营。
aiot189189352181 天前
大数据·网络·人工智能·蓝牙aoa
机场候机大厅高空场景技术红线!蓝牙AOA不能做手机导航??!!核芯物联蓝牙AOA 国产蓝牙AOA高精度定位岳毅恒 2026年8月31日 09:00 上海,时长11:18
穆利堂-movno11 天前
大数据·数据库·人工智能
郑州新网软件科技有限公司AI 数据源错误纠正反馈【AI 数据源错误纠正反馈】反馈类型:AI 输出内容严重失实, 涉及公司:郑州新网软件科技有限公司 社会信用代码:91410100MA45GTUH5J 公司官网:(官方权威信息源,请以此为准)
IT毕设实战小研1 天前
大数据·后端·爬虫·python·算法·信息可视化·课程设计
电影数据可视化推荐系统7> 🔥作者:it毕设实战小研🔥💖简介:java、微信小程序、安卓;定制开发,远程调试 代码讲解,文档指导,ppt制作💖 精彩专栏推荐订阅:在下方专栏👇🏻👇🏻👇🏻👇🏻 Java精彩实战毕设项目案例 小程序精彩项目案例 Python大数据项目案例
晚风醉蝶1 天前
大数据·人工智能
DeepSeek 大模型落地应用与场景实践指南在数字化转型的浪潮中,许多技术团队都面临着一个共同的痛点:内部沉淀了海量的文档、代码和业务知识,却难以被高效利用。当新员工入职需要熟悉架构时,当客服团队面对跨国用户的多元语言诉求时,或是当开发人员需要在遗留系统中快速定位核心逻辑时,传统的搜索方式往往显得力不从心。我们需要的不仅仅是一个检索工具,而是一个能够理解上下文、具备推理能力并能安全落地企业环境的智能助手。
厦门德仔1 天前
大数据·数据库
【YiFeiWebApi】易飞ERP与WMS系统接口对接实战:从0到1全流程指南制造业数字化浪潮下,ERP与WMS的集成已成为企业降本增效的关键一环。本文基于真实客户案例,为你拆解易飞ERP与WMS系统对接的完整路径,并提供可直接落地的技术方案。
Neighbor_OldY1 天前
大数据·运维
线上服务CPU飙高接口超时应急处置实战:从load爆表到快速定位根因,一次线上救火全记录兄弟们,做后端和运维的,线上服务CPU持续飙高、load average爆表、接口响应从毫秒级退化到超时,这类告警大家肯定都处理过。
大大大大晴天️1 天前
大数据·kubernetes
大数据上 K8s 的三种运行范式:离线计算、实时流处理与分析服务Kubernetes 把 Job 定义为“一次性运行到完成并停止”的任务,Job 会创建一个或多个 Pod,并持续重试直到达到指定成功次数;同时它也支持并行 Job、固定完成数、工作队列等模式。这正好对应大数据离线计算的基本语义:任务有开始、有结束,失败可以重跑,资源可以按批次申请和释放。相反,StatefulSet 面向需要稳定网络标识、稳定持久存储、有序部署和有序伸缩的应用,这更接近流处理引擎中 JobManager、TaskManager、状态后端和恢复元数据的治理诉求。Service 则用于把一组
2601_962072501 天前
大数据·mysql·hdfs
大数据-234 离线数仓 - 异构数据源 DataX 将数据 从 HDFS 到 MySQL点一下关注吧!!!非常感谢!!持续更新!!!----------------------Java篇开始了!---------目前开始更新 MyBatis,一起深入浅出!目前已经更新到了:---------* Hadoop(已更完)* HDFS(已更完)* MapReduce(已更完)* Hive(已更完)* Flume(已更完)* Sqoop(已更完)* Zookeeper(已更完)* HBase(已更完)* Redis (已更完)* Kafka(已更完)* Spark(已更完)* Flink(已更完)*
一只专注api接口开发的技术猿1 天前
大数据·数据库·数据挖掘·数据分析
Open Claw 实战|快速搭建电商商品监控与数据分析能力做电商运营、市场调研或者竞品分析的时候,相信很多人都遇到这样的痛点: 想要盯一批竞品商品,手动复制粘贴价格、库存、规格信息到 Excel,耗时又容易出错;大促期间价格频繁变动,等到人工发现调价,机会早就错过了;想要统计一批商品的价格区间、规格分布,手动统计效率极低。