本地推理

智码看视界16 天前
昇腾·moe·开源大模型·智能体agent·本地推理·xing4.0-29b-a4b·单卡部署
开源大模型追踪:中电信人工智能Xing4.0-29B-A4B:SWE-bench 75.0逼近Qwen3.6-35B一句话定位:面向 Agent 的轻量 MoE,单张消费级显卡就能私有化跑长上下文智能体。这里要先说清一个容易混淆的点:总参 29B 听着比 7B 大,但本地跑得快不快,看的是"每 token 激活"而不是"总参"。Xing4.0 每 token 只点亮 4B 专家,推理算力开销接近一个 4B 稠密模型,显存却要装下全部 29B 权重——所以量化后单卡能跑,但原始 BF16 必须多卡。换句话说,它的"聪明"来自大权重库,"便宜"来自稀疏激活,两者分开看才不会误判部署门槛。
视***间1 个月前
gpt·ai算力·本地部署大模型·ai推理·大模型本地部署·gpt-oss·本地推理
视程空间GPT-OSS 开源大推理模型部署与使用实战教程手把手教你如何在Pandora上面部署GPT-OSS一、课程概述1.1 学习目标本教程将带领学习者完成 gpt-oss 开源大推理模型的本地化部署与交互使用,涵盖两条核心实践路径:
带娃的IT创业者5 个月前
人工智能·macos·语言模型·mac·视觉语言模型·mlx·本地推理
MLX-VLM:在Mac上解锁视觉语言模型的本地推理与微调能力2024年,人工智能领域最令人兴奋的趋势之一,莫过于多模态大模型的普及。从GPT-5.5的多模态能力到Qwen3.6 Max的视觉理解,再到DeepSeek 4.0 Pro在图文交互上的突破,视觉语言模型(VLM)正在重塑我们与机器互动的方式。然而,这些强大的模型往往运行在昂贵的云端GPU集群上,对于个人开发者来说,无论是成本还是隐私都是难以逾越的门槛。
我是有底线的