ray

夫唯不争,故无尤也4 天前
分布式·ddp·fsdp·ray·verl
分布式训练全栈地图目录结论:先建立这张“分布式训练全栈地图”一、Layer 1:你真实拥有的东西其实是 GPU、内存和互联
天涯明月199313 天前
大数据·人工智能·分布式·架构·ray
Ray 架构解析——以动态任务图统一 AI 计算的分布式框架一次关于 Ray 分布式计算框架的架构梳理与工程取舍分析:从编程模型讲到系统分层、调度与容错,再延伸到架在 Ray Core 之上的上层生态。全文配有多张 Mermaid 示意图(架构图、时序图、决策流程图、ER 图等),可在支持 Mermaid 的 Markdown 渲染器中直接查看。
天涯明月199315 天前
大数据·人工智能·分布式·ray
ray深度研究报告一份关于 Ray 分布式计算框架的架构梳理与工程取舍分析。内容覆盖编程模型、系统分层、调度与内存机制、容错设计,以及围绕 Ray Core 构建的上层生态。文中示意图使用 Mermaid 绘制(架构图、数据流图、调度决策图、容错流程图、ER 关系图等),可直接在支持 Mermaid 的 Markdown 渲染器中查看。
我不介意孤独6 个月前
数据挖掘·数据分析·分布式计算·ray·lancedb·daft·大规模数据分析
Ray + LanceDB + Daft 构建大规模向量数据分析管道在大模型时代,向量数据的规模正在爆炸式增长。一个典型的图文检索系统可能需要管理数十亿条 Embedding 向量,同时还要支持高效的过滤、聚合和相似度检索。传统方案要么用 Milvus/Qdrant 等专用向量数据库但缺乏灵活的分析能力,要么用 Spark 做分析但向量检索性能差。本文介绍一套新兴的技术栈:Ray + LanceDB + Daft,兼顾大规模分布式计算与高性能向量存储分析。
缘友一世7 个月前
分布式·架构·transformer·ray·vllm
大模型分布式推理:Ray 与 vLLM/Transformers 的协同架构深度解析官方资源导航:启动阶段的资源编排: 当执行 vllm serve 命令并指定 --distributed-executor-backend ray 时,系统触发以下初始化流程。
小哈里7 个月前
人工智能·大模型·llm·分布式计算·ray
【计算】Ray框架介绍,AI基础设施之“通用”分布式计算(跨场景,门槛低,大规模生产,单机->集群->推理一站式)【计算】Ray框架介绍,AI基础设施之“通用”分布式计算(跨场景,门槛低,大规模生产,单机->集群->推理一站式)
petrel20158 个月前
ray
Mac下安装ray的保姆级教程pyenv是一个多python版本管理的工具,为了后续切换其他Python方便,我们通过pyenv安装python
云雾J视界9 个月前
tensorflow·wpf·horovod·ray·分布式ai·sintolrtos
分布式AI框架选型困局:SintolRTOS vs Ray vs Horovod,性能压测全解析2022年,某头部互联网大厂自动驾驶部门启动多智能体强化学习项目,目标训练100辆虚拟无人车的协同决策模型。团队基于TensorFlow 2.0与Horovod搭建分布式环境,投入32张A100 GPU。初期测试显示,单机8卡吞吐量为12,000样本/秒,但扩展至32卡时,吞吐量仅提升至18,000样本/秒,扩展效率低至37.5%。更致命的是,智能体间频繁出现决策时序错乱,导致训练策略崩溃。
强哥之神1 年前
人工智能·语言模型·自然语言处理·transformer·openai·ray
浅谈目前主流的LLM软件技术栈:Kubernetes + Ray + PyTorch + vLLM 的协同架构近年来,随着大语言模型(LLM)、多模态模型和生成式 AI 技术的快速演进,AI 工程体系正经历从“单点模型”向“端到端智能系统”的深刻转型。这一转型不仅带来了算法层面的突破,更对底层软件基础设施提出了前所未有的挑战:如何在保障高吞吐、低延迟的同时,支持快速迭代、弹性伸缩与多租户共享?如何让算法工程师专注于模型创新,而无需深陷资源调度与运维泥潭?
linweidong1 年前
分布式·容器·kubernetes·ray·keda·autoscaling·ray推理
解锁 Ray 在 Kubernetes 上的弹性伸缩:打造高效、稳定的分布式作业Ray 的核心魅力在于它的分布式任务调度和 Actor 模型,适合处理动态负载的机器学习训练、推理或大数据处理任务。然而,云上 Kubernetes 环境中的资源管理是个复杂命题:节点资源有限,负载波动频繁,手动调整集群规模显然不现实。Autoscaling 就像给 Ray 装了个智能油门,能根据任务需求动态调整资源,既省钱又高效。
陌上阳光1 年前
docker·容器·ray
docker搭建ray集群启动 Docker 服务:验证 Docker 是否安装成功:
青云交2 年前
大数据·人工智能·分布式机器学习·数据处理·模型训练·ray·应用场景
大数据新视界 --大数据大厂之 Ray:分布式机器学习框架的崛起💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。我真诚地期待着你们的到来,愿我们能在这片小小的天地里共同成长,共同进步。💖💖💖
代码不会写2 年前
分布式·spark·ray·计算模型
分布式领域计算模型及Spark&Ray实现对比目录一、分布式计算领域概览二、Spark计算模型分析三、Ray计算模型分析3.1 需求分析3.2 系统设计
Arnold-FY-Chen3 年前
3d·opengl·rviz·ray
rviz是如何获取图像里选择的点云的3D坐标的以前以为rviz是用OpenGL渲染绘图,那么获取图像里像素点对应的真实3D坐标是采用的OpenGL里提供的API实现的,结果一看代码还真不是这样,rviz也就渲染用了OpenGL,其他都是自己实现的,图像界面的实现完全是遵循MVC设计模式自己实现的透视投影和坐标转换等所有相关类。获取点云图像里所选择的点云点的3D坐标相关的代码是这里:
我是有底线的