技术栈
分布式
XLYcmy
1 小时前
分布式
·
python
·
http
·
网络安全
·
ai
·
llm
·
agent
全链路验证测试系统:一个针对智能代理(Agent)系统全链路能力的自动化验证脚本
一个针对智能代理(Agent)系统全链路能力的自动化验证脚本,其核心目标是确保 LLM意图识别准确性、HTTP分布式通信可靠性 和 安全分权机制有效性 三大关键特性。该脚本采用模块化测试设计,覆盖从底层权限控制到上层业务逻辑的全流程,是系统质量保障的核心工具。
phltxy
10 小时前
分布式
·
rabbitmq
·
负载均衡
HAProxy安装与RabbitMQ负载均衡配置
HAProxy 是一款常用的高性能负载均衡软件,适合放在 RabbitMQ 集群前面,为 Producer 和 Consumer 提供统一的访问入口。下面以 RabbitMQ 多节点为例,记录在 Ubuntu 和 CentOS 环境中安装、配置、启动以及查看 HAProxy 管理页面的完整流程。
jiayong23
11 小时前
分布式
·
面试
·
kafka
Kafka 高吞吐消息链路常见面试问题及详细解答
Kafka 适合海量数据入口,是因为它把数据写入和数据处理解耦了。它通过分区实现并行,通过顺序追加日志提升写入吞吐,通过副本提高可靠性,通过 offset 支持回放和恢复,通过消费组支持横向扩展。
卷毛迷你猪
12 小时前
hadoop
·
分布式
快速实验篇(A2-2)数据清洗规则修正与多语言实现验证
在 A2-1 完成后,集群曾短暂稳定,但随后发现 yarn node -list 仅显示 2 个节点,worker1 缺失。以下为完整的排查、定位与修复过程。(本质上是A2-1执行后未释放中间临时数据暂用内容导致)
业精于勤_荒于稀
12 小时前
分布式
登录鉴权-ai
我将为你提供一套完整的、可直接落地的分布式登录与统一鉴权方案,包含完整代码、详细解释和生产环境注意事项。
Kurisu575
13 小时前
分布式
深度拆解:从 CAP 定理到 Raft 协议的分布式一致性演进
在单机向分布式系统演进的过程中,由于网络断开与节点故障的常态化,如何保证多台机器上的数据处于同一状态,成为了软件工程中最复杂的挑战之一。分布式系统通过 CAP 定理划定了工程边界,并衍生出了以 Raft 为代表的强一致性共识算法。本文将深度解析 Raft 协议的核心状态机、Leader 选举机制以及日志复制的边界防线。
kuokay
14 小时前
分布式
·
llama
·
deepspeed
·
fsdp
·
llama-factory
·
accelerate
深入理解 LLM 分布式训练全栈:从硬件到 LLaMA-Factory
大语言模型的训练是一项复杂的系统工程。从底层的芯片指令,到上层的训练框架,每一层都承担着独特的职责,彼此协作才能完成数百亿参数模型的高效训练。本文将自底向上逐层拆解这套技术栈,并配合实际示例帮助你真正理解每一层的设计意图与工作机制。
Java 码思客
14 小时前
redis
·
分布式
·
缓存
【Redis分布式缓存实战】第2章 Redis核心数据结构与业务实战场景
Redis 之所以能成为分布式架构中首选的缓存、中间件,高性能、低延迟的核心根基,正是其精心设计的底层数据结构。Redis 对外提供了十余种数据类型,不同类型对应不同的底层实现、性能特征与适用场景。
Rick1993
15 小时前
redis
·
分布式
Redis 分布式锁 + 部署模式
我给你最标准、最简洁、面试官最爱听的版本,分两块讲:利用 Redis 单线程命令执行的原子性,通过 SETNX + 过期时间 实现互斥独占锁,防止多个节点同时操作共享资源。
phltxy
1 天前
分布式
·
rabbitmq
·
ruby
RabbitMQ集群搭——多机多节点与单机多节点
RabbitMQ 集群搭建的核心,是让多个 RabbitMQ 节点能够通过节点名称互相识别,并使用相同的 Erlang Cookie 完成节点间认证。下面按照实际操作顺序,分别演示多台服务器搭建集群,以及在单台服务器上通过不同端口模拟多个节点搭建集群。
三十..
1 天前
运维
·
分布式
·
ceph
Ceph分布式存储核心技术精要与运维实践指南
cfm_2914
1 天前
redis
·
分布式
Redis高并发分布式锁了解
在单体架构中,我们依靠 synchronized、ReentrantLock 解决单机并发竞争。但在微服务分布式场景下,多实例部署导致单机锁失效,库存超卖、定时任务重复执行、接口重复提交、并发数据覆盖等问题频发。
小小编程路
1 天前
分布式
分布式核心知识
把一个单体系统拆分成多个独立服务,部署在不同服务器,通过网络协作完成业务,分担压力、提升并发与可用性。
bukeyiwanshui
1 天前
分布式
·
ceph
20260528 Ceph 分布式存储 集群配置
Ceph 配置选项具有唯一名称,该名称由下划线连接的小写字符组成。有些配置选项会包含短划线(中横 杠)或空格字符。推荐做法:使用下划线。 Ceph 守护进程会从以下某个来源访问其配置:
我叫张小白。
2 天前
数据库
·
redis
·
分布式
·
缓存
·
中间件
·
fastapi
·
依赖注入
基于Redis与FastAPI的分布式共享会话体系
在传统单体部署模式中,用户登录后的身份信息通常强绑定于服务端本地内存。用户完成认证后,服务端将用户对象存入当前进程的Session空间,并通过HTTP响应头下发SessionId至客户端Cookie。后续请求携带该Cookie到达服务端时,拦截器从本地Session中提取用户数据,注入线程上下文后放行。
天河归来
2 天前
数据库
·
分布式
国产数据库安全可靠测评产品观察:从集中式、分布式到 HTAP 的发展趋势
近年来,国产数据库进入了快速发展阶段。从早期以集中式 OLTP 数据库为主,到今天同时覆盖分布式数据库、云原生数据库、HTAP 数据库、时序数据库等多种技术路线,国产数据库生态已经从“可用”逐步走向“可选、可评估、可替换”。
小碗羊肉
2 天前
数据库
·
redis
·
分布式
【Redis | 第五篇】分布式锁
目录一、 为什么需要分布式锁?(它解决了什么问题?)二、分布式锁的实现方案方案一:基于 Redis(最常用,性能极高)
运维栈记
2 天前
分布式
·
ceph
Ceph 入门:一文读懂分布式存储的“瑞士军刀”
在云原生时代,数据存储的需求正以前所未有的速度增长。无论是容器平台的持久化存储、虚拟机的磁盘后端,还是对象存储的海量数据,企业都需要一个可扩展、高可用、无单点故障的存储方案。
头歌实践平台
2 天前
数据库
·
分布式
·
hbase
HBase 完全分布式安装(新)
2.免密登录 在各节点服务器生成秘钥:在 master 复制 master、slave1、slave2 的公钥。
水木流年追梦
2 天前
人工智能
·
分布式
·
python
·
深度学习
·
机器学习
大模型入门-大模型优化方法3
在了解大语言模型(LLM)的底层逻辑时,你一定会频繁听到一个词——KV Cache。 简而言之,KV Cache 是大模型推理性能优化的一个王牌技术。它能够在不影响任何计算精度的前提下,利用“空间换时间”的思想,大幅提升大模型的生成速度。