分布式

灯澜忆梦13 小时前
分布式·golang·rabbitmq
【RabbitMQ #3】 | Go 客户端 + SpringAMQPAMQP(高级消息队列协议):与语言、平台无关的消息协议,RabbitMQ 基于该协议。Spring AMQP 是基于 AMQP 协议封装的 API 规范,分为两部分:
Q264336502319 小时前
大数据·hadoop·分布式·数据挖掘·数据分析·spark·毕业设计
【有源码】基于Spark的电商客户细分与盈利洞察分析系统-面向精准营销的电商客户细分模型构建与盈利能力可视化研究注意:该项目只展示部分功能,如需了解,文末咨询即可。发语言:python 采用技术:Spark、Hadoop、Django、Vue、Echarts等技术框架 数据库:MySQL 开发环境:PyCharm
新思维软件20 小时前
分布式·stm32·单片机·嵌入式硬件·物联网·物联网开发
基于无线传输的地衡系统:三节点 LoRa 组网与 MQTT 上云的分布式称重方案本文面向希望复现或二次开发的读者,按「一、项目基本情况 → 二、系统架构设计 → 三、系统界面展示 → 四、系统视频展示 → 五、获取方法」组织。文中引脚分配取自项目原理图,通信参数与主题取自实机配置记录,界面数值取自系统实测截图,均未做推测性改写。
俊哥大数据21 小时前
分布式·flink·kafka·数据湖·paimon
Flink1.20.3 实时消费 Kafka 数据并解析入湖 Paimon1.4.2 全流程实战场景:车联网 TBox 终端按国标 GB32960 协议上报报文,经网关接入 Kafka;Flink 以 Table API / SQL 直接将原始报文(Original)落湖 Paimon,形成 ODS 贴源层,供下游 Doris / Spark / Hive 查询与数仓分层加工。 本文基于生产实战整理,涵盖架构、建模、代码、配置、Checkpoint、打包、DolphinScheduler 调度、Savepoint 平滑启停全链路,可直接落地复用。
宸津-代码粉碎机1 天前
java·大数据·人工智能·分布式·python
OpenAI 连夜迎战 Grok Bot 和 Muse:AI 智能体从 “会聊天” 到 “能办事”,现在入场还来得及吗标签:AI 智能体|Agent|大模型工程|Grok Bot|Muse|后端开发 文章类型:技术实战 + 行业趋势分析
程序猿乐锅1 天前
java·数据库·spring boot·redis·分布式·spring·缓存
【黑马点评 | 第八篇】Redisson分布式锁秒杀场景中,同一个用户可能同时发起多次下单请求。多个应用实例共同处理请求时,单机锁只能约束当前进程内的线程,无法保证所有实例使用同一把锁。Redis 分布式锁可以解决进程间互斥,但手写实现还要处理可重入、锁重试、锁续期和 Redis 故障切换等问题。
灯澜忆梦1 天前
分布式·rabbitmq·ruby
【RabbitMQ #7】 | 消息转换器简介:学习 RabbitMQ 消息转换器,对比 SpringAMQP 默认 JDK 序列化问题,使用 Go 语言实现等效消息转换器,实现 Java 与 Go 跨语言收发消息。
需要8261 天前
java·spring boot·分布式·spring·spring cloud
分布式事务:Seata AT/TCC/SAGA 的取舍与踩坑关键词标签:Seata、分布式事务、AT 模式、TCC、Saga、全局锁、回滚补偿一个容易被忽略的事实:Seata 的 AT 模式之所以能"无侵入"地回滚业务 SQL,靠的不是数据库事务,而是在业务库中额外维护一张 undo_log 表记录前后镜像,再加一把由 TC 维护的全局锁。这意味着——如果你的业务表没有主键、SQL 形态超出 Seata 解析器覆盖范围、或者把数据写进了 information_schema 这类系统表,AT 模式很可能在第一阶段就无法正确生成回滚信息。这不是 bug,是 AT 的
CS创新实验室1 天前
分布式·操作系统
为什么三台机器就能选出一个“带头大哥“?——Raft 一致性算法,一次讲透你存进数据库的每一笔订单,其实都躺在不止一台机器上。那问题来了:其中一台突然宕机,剩下几台手里各有一份数据,到底听谁的?凭什么保证所有副本最后长得一模一样?
本人手速666+1 天前
运维·分布式·自动化·企业微信·企微外部群开发·wecomapi·企业微信二次开发
企微开发API如何设计客户冻结状态?WeComApi 在删除、投诉和异常客户场景中的自动化边界企微客户管理中,很多系统只有“正常客户”和“删除客户”两个状态。但真实业务里,经常存在一类客户:关系还在; 客户数据也需要保留; 但暂时不适合继续执行普通自动化。
灯澜忆梦2 天前
分布式·rabbitmq
【RabbitMQ #4】 | Work 任务模型Work Queues 任务模型:多个消费者绑定同一个队列,共同消费队列中的消息。 场景:消息量较大,单个消费者处理不过来,启动多个消费者分担任务,提升消息处理速度。
程序猿乐锅2 天前
java·数据库·redis·分布式·spring·缓存
【黑马点评 | 第七篇】Redis 分布式锁的两种实现优惠券“一人一单”要求同一个用户的下单操作不能并发执行。如果服务只运行在一个 JVM 中,可以用 Java 锁控制线程;服务部署到多台机器后,各 JVM 的锁互不可见,就需要一把所有实例都能访问的锁。Redis 可以提供非阻塞的加锁与释放,Lua 脚本则可以解决释放锁时的竞态问题。
千里码aicood2 天前
大数据·hadoop·分布式
基于Hadoop的机票价格波动分析系统的设计与实现摘 要针对传统机票价格分析方法无法高效处理海量数据的问题,本研究设计并实现了一套轻量化机票价格波动分析系统。系统采用Hadoop单机模式存储航班数据,通过Python爬虫获取公开航班信息,利用MapReduce清洗异常记录并归一化价格数据。基于TensorFlow框架搭建单层LSTM模型,输入连续7天历史价格预测未来一周趋势,预测误差控制在15%以内。前端通过ECharts生成交互式图表,展示航线价格对比、航司市场份额及中转方案成本分析。测试结果表明,系统在普通笔记本电脑环境下可处理1万条数据,清洗耗时约
Thomas.Sir8 天前
人工智能·pytorch·分布式
第21课:PyTorch|GPU多卡训练与分布式训练基础【让多卡并行成为你的加速引擎】在第11课到第20课中,我们一直在单张GPU上进行模型训练。对于MNIST这样的小数据集,单卡训练完全够用。但当模型和数据规模增长时,单GPU会面临两大瓶颈:
Cicada1288 天前
分布式·系统架构
库存消息消费的正确性设计——从幂等窗口到批量流水线库存系统每天处理大量到货消息。商品入库、调拨、退货,每一步都产生库存变更消息。但并不是所有 SKU 都需要监控到货量——只有白名单内的 SKU 才纳入累加计算,写入分布式缓存供下游查询。白名单主要在预售及初期阶段使用,随活动变化动态调整。流量不小,每分钟原始消息量在百万级,但白名单命中率约 10%,真正需要处理的只有十几万条。
Francek Chen9 天前
大数据·数据仓库·hive·hadoop·分布式
【大数据处理与分析】数据仓库Hive:04 数据仓库Hive概述【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈大数据技术原理与应用 ⌋ ⌋ ⌋专栏系统介绍大数据的相关知识,分为大数据基础篇、大数据存储与管理篇、大数据处理与分析篇、大数据应用篇。内容包含大数据概述、大数据处理架构Hadoop、分布式文件系统HDFS、分布式数据库HBase、NoSQL数据库、云数据库、MapReduce、Hadoop再探讨、数据仓库Hive、Spark、流计算、Flink、图计算、数据可视化,以及大数据在互联网领域、生物医学领域的应用和大数据的其他应用。 【GitCode
Gl�ria9 天前
大数据·hadoop·分布式
Hadoop/YARN 集群缩容:下线DN节点核心原理:HDFS 支持优雅退役 (decommission) 下线 DN,不是直接关机。执行退役后,NameNode 会把该 DN 上所有数据块,复制迁移到其他存活 DataNode,数据多副本保证不丢失。
吉甫作诵9 天前
大数据·运维·分布式·kafka·消息队列
Kafka 集群安装与运维实战:消费组排查、Offset 重置与副本重分配Kafka 的日常运维里,真正让人头疼的往往不是「怎么启动」,而是三件事:消费组积压了怎么定位、位移(Offset)乱了怎么重置、__consumer_offsets 这种内部主题副本数不够怎么改。这三件事各自都有坑,而且坑基本都藏在客户端工具的版本差异和参数语义里。
是Dream呀10 天前
人工智能·分布式·缓存·agent
Harness 工程:让 Agent 真正把任务做完一个模型会调用工具,并不等于它已经是可靠的 Agent。最简单的 Agent 循环并不复杂:把任务交给模型,模型选择工具,系统执行工具,再把结果送回模型。循环持续到模型认为任务已经完成。