apple silicon

带娃的IT创业者2 小时前
人工智能·macos·语言模型·视觉语言模型·apple silicon·mlx·mac本地推理
深度解析:当 MLX 遇上视觉语言模型,Mac 本地推理的新范式在当今的人工智能开发领域,"本地化"与"隐私优先"正逐渐成为继云端大模型之后的下一个战场。对于长期身处 Apple 生态的开发者而言,Apple Silicon 芯片的强大算力往往在日常开发中被低估。直到最近,一个名为 mlx-vlm 的项目在技术社区引发了热烈讨论,它不仅展示了在 Mac 上运行视觉语言模型的可能性,更以极高的效率和易用性,为中级开发者提供了一个探索多模态 AI 的绝佳入口。这不仅仅是一个工具的发布,更标志着个人计算机正在从单纯的代码编辑器转变为强大的 AI 工作站。
Mininglamp_271819 天前
大模型·apple silicon·mlx·端侧推理·激活量化
在Mac上跑大模型,MLX 不是终点当 Apple MLX 框架让开发者第一次在 MacBook 上流畅运行 7B 模型时,整个社区为之振奋。但冷静下来看数据:MLX 的 W4A16 量化方案在 prefill 阶段的计算密度远未触及 Apple Silicon 的理论上限。权重被压缩到了 4-bit,激活值却依然以 FP16 参与矩阵运算——这意味着 GPU 核心中一半以上的 ALU 周期被浪费在了不必要的精度上。
Mininglamp_27181 个月前
人工智能·架构·开源·agent·mac·apple silicon·gui agent
开源端侧 AI Agent 全栈架构解析:Mano-P 模型 + Cider 推理加速 + AFK 自动构建端侧 AI Agent 不只是"在本地跑个模型"那么简单。从视觉理解到高效推理,再到自动化应用交付,每一层都有独立的工程挑战。本文以明略科技开源的 Mano-P 全栈架构为例,拆解端侧 Agent 的三层技术栈设计。
bitcarmanlee3 年前
python·macos·conda·apple silicon
anaconda:Env creation from python 3.7 not working M1 Apple Silicon Mac在anaconda上执行如下命令,想创建python3.7的环境发现无法创建发现对于Apple Silicon,python没有低于3.7以下的版本。因此直接换成3.8的版本…
我是有底线的