技术栈
分布式
Java 码思客
2 小时前
redis
·
分布式
·
缓存
【Redis分布式缓存实战】第4章 单机Redis部署、配置与基础优化
实现Redis开发、测试、生产多环境隔离部署,提供两套标准化部署方案(Linux源码编译部署、Docker容器部署),统一各环境目录结构、配置规范、启动方式和运维标准,规避多环境冲突,保障生产环境高可用、安全性、稳定性,同时兼顾开发测试环境的轻量化、易部署特性。
卷毛迷你猪
2 小时前
大数据
·
hadoop
·
分布式
快速实验篇(A3)基于 Hive 的气象数据数仓构建与干旱指标初步分析
在前面两个阶段(A2-1 和 A2-2),我们使用 Java 和 Python 编写 MapReduce 程序完成了数据清洗。MapReduce 虽然强大,但每完成一个统计任务都需要编写几十上百行代码、编译、打包、提交作业,门槛高、效率低。
卷毛迷你猪
2 小时前
数据仓库
·
hive
·
hadoop
·
分布式
快速实验篇(A4)Hive 数据仓库进阶:全站点干旱事件识别与多维统计分析
本文是“农业气象干旱分析”项目的第四阶段,记录在 Hive 中基于 A3 构建的数仓基础,对全部 102,430 个站点的 9,218,700 条气象观测数据进行干旱事件识别与多维统计分析的完整过程。
RingWu
4 小时前
分布式
·
微服务
·
架构
高并发三板斧-异步
高并发系统里,异步是一个很像“办公室甩锅”的技术。区别是,普通甩锅会让同事想拉黑你;设计得好的异步,会让系统少加班、用户少等待、老板少拍桌子。
搞科研的小刘选手
13 小时前
分布式
·
神经网络
·
计算机视觉
·
区块链
·
计算机科学
·
共识算法
·
自然语言
【中山大学主办】第六届计算机科学与区块链国际学术会议(CCSB 2026)
第六届计算机科学与区块链国际学术会议(CCSB 2026)2026 6th International Conference on Computer Science and Blockchain
小饼干在学嘎瓦
14 小时前
分布式
·
缓存
本地缓存和分布式缓存如何选择?
本地缓存: 数据存在当前应用的进程内存里,Caffeine、GuavaCache 就是典型代表。分布式缓存: 数据存在独立的缓存服务上,多台应用服务器通过网络去访问它,Redis 是代表。
XLYcmy
16 小时前
分布式
·
python
·
http
·
网络安全
·
ai
·
llm
·
agent
全链路验证测试系统:一个针对智能代理(Agent)系统全链路能力的自动化验证脚本
一个针对智能代理(Agent)系统全链路能力的自动化验证脚本,其核心目标是确保 LLM意图识别准确性、HTTP分布式通信可靠性 和 安全分权机制有效性 三大关键特性。该脚本采用模块化测试设计,覆盖从底层权限控制到上层业务逻辑的全流程,是系统质量保障的核心工具。
phltxy
1 天前
分布式
·
rabbitmq
·
负载均衡
HAProxy安装与RabbitMQ负载均衡配置
HAProxy 是一款常用的高性能负载均衡软件,适合放在 RabbitMQ 集群前面,为 Producer 和 Consumer 提供统一的访问入口。下面以 RabbitMQ 多节点为例,记录在 Ubuntu 和 CentOS 环境中安装、配置、启动以及查看 HAProxy 管理页面的完整流程。
jiayong23
1 天前
分布式
·
面试
·
kafka
Kafka 高吞吐消息链路常见面试问题及详细解答
Kafka 适合海量数据入口,是因为它把数据写入和数据处理解耦了。它通过分区实现并行,通过顺序追加日志提升写入吞吐,通过副本提高可靠性,通过 offset 支持回放和恢复,通过消费组支持横向扩展。
卷毛迷你猪
1 天前
hadoop
·
分布式
快速实验篇(A2-2)数据清洗规则修正与多语言实现验证
在 A2-1 完成后,集群曾短暂稳定,但随后发现 yarn node -list 仅显示 2 个节点,worker1 缺失。以下为完整的排查、定位与修复过程。(本质上是A2-1执行后未释放中间临时数据暂用内容导致)
业精于勤_荒于稀
1 天前
分布式
登录鉴权-ai
我将为你提供一套完整的、可直接落地的分布式登录与统一鉴权方案,包含完整代码、详细解释和生产环境注意事项。
Kurisu575
1 天前
分布式
深度拆解:从 CAP 定理到 Raft 协议的分布式一致性演进
在单机向分布式系统演进的过程中,由于网络断开与节点故障的常态化,如何保证多台机器上的数据处于同一状态,成为了软件工程中最复杂的挑战之一。分布式系统通过 CAP 定理划定了工程边界,并衍生出了以 Raft 为代表的强一致性共识算法。本文将深度解析 Raft 协议的核心状态机、Leader 选举机制以及日志复制的边界防线。
kuokay
1 天前
分布式
·
llama
·
deepspeed
·
fsdp
·
llama-factory
·
accelerate
深入理解 LLM 分布式训练全栈:从硬件到 LLaMA-Factory
大语言模型的训练是一项复杂的系统工程。从底层的芯片指令,到上层的训练框架,每一层都承担着独特的职责,彼此协作才能完成数百亿参数模型的高效训练。本文将自底向上逐层拆解这套技术栈,并配合实际示例帮助你真正理解每一层的设计意图与工作机制。
Java 码思客
1 天前
redis
·
分布式
·
缓存
【Redis分布式缓存实战】第2章 Redis核心数据结构与业务实战场景
Redis 之所以能成为分布式架构中首选的缓存、中间件,高性能、低延迟的核心根基,正是其精心设计的底层数据结构。Redis 对外提供了十余种数据类型,不同类型对应不同的底层实现、性能特征与适用场景。
Rick1993
1 天前
redis
·
分布式
Redis 分布式锁 + 部署模式
我给你最标准、最简洁、面试官最爱听的版本,分两块讲:利用 Redis 单线程命令执行的原子性,通过 SETNX + 过期时间 实现互斥独占锁,防止多个节点同时操作共享资源。
phltxy
2 天前
分布式
·
rabbitmq
·
ruby
RabbitMQ集群搭——多机多节点与单机多节点
RabbitMQ 集群搭建的核心,是让多个 RabbitMQ 节点能够通过节点名称互相识别,并使用相同的 Erlang Cookie 完成节点间认证。下面按照实际操作顺序,分别演示多台服务器搭建集群,以及在单台服务器上通过不同端口模拟多个节点搭建集群。
三十..
2 天前
运维
·
分布式
·
ceph
Ceph分布式存储核心技术精要与运维实践指南
cfm_2914
2 天前
redis
·
分布式
Redis高并发分布式锁了解
在单体架构中,我们依靠 synchronized、ReentrantLock 解决单机并发竞争。但在微服务分布式场景下,多实例部署导致单机锁失效,库存超卖、定时任务重复执行、接口重复提交、并发数据覆盖等问题频发。
小小编程路
2 天前
分布式
分布式核心知识
把一个单体系统拆分成多个独立服务,部署在不同服务器,通过网络协作完成业务,分担压力、提升并发与可用性。
bukeyiwanshui
2 天前
分布式
·
ceph
20260528 Ceph 分布式存储 集群配置
Ceph 配置选项具有唯一名称,该名称由下划线连接的小写字符组成。有些配置选项会包含短划线(中横 杠)或空格字符。推荐做法:使用下划线。 Ceph 守护进程会从以下某个来源访问其配置: