技术栈

推理服务

正在走向自律
3 天前
人工智能·开源·本地部署大模型·deepseek·推理服务·windows本地部署
DeepSeek 最新开源模型 Windows 本地部署完全指南(2026 版)2026 年的本地大模型生态已经和两年前完全不同。DeepSeek 在 2026 年 4 月开源了 V4 系列,其 Pro 版本拥有 1.6 万亿参数,激活参数仅 49B,以极致的稀疏化设计在编程和数学领域达到了与闭源旗舰同等的量级。但真正让 Windows 用户受益的,是 DeepSeek 同步放出的蒸馏版本——包括 Qwen 3.5-9B-DeepSeek V4-Flash(9B 参数,Q4 量化下内存占用约 18.6GB)以及经典的 R1 蒸馏系列(1.5B 到 70B)。这些模型让一台配备 RTX
itmrl
6 个月前
huggingface·开源模型·ai基础设施·推理服务·deepinfra
DeepInfra 加入 HuggingFace 推理提供商:统一入口背后的基础设施逻辑HuggingFace 近日宣布 DeepInfra 正式成为其 Inference Providers 体系的一员。对于很多开发者来说,这条消息看起来只是一次普通的合作公告,但它背后折射的,是 AI 推理基础设施市场正在发生的一场结构性变化。
我是有底线的