大模型量化方案

相关推荐
console.log('npc')2 小时前
Grill-Me 技能使用教程
前端·大模型·产品·skill·需求
2601_966949653 小时前
如何判断盘中最新价相对昨日收盘涨跌幅,并实时触发止盈止损条件单:QuantDash Python 实战
开发语言·python·量化策略·量化·quantdash
guwentian3 小时前
不用显卡也能跑大模型?GGUF 量化与 llama.cpp 本地推理实战
大模型·token·gguf
thesky1234564 小时前
27届大模型面试准备(五十九):大模型推理引擎内核深度剖析——PagedAttention、调度器与显存管理
大模型·vllm·flashattention·推理引擎·pagedattention·连续批处理·显存管理
SelectDB技术团队5 小时前
Apache Doris 在内容 AI 生产链路中的实践:从内容打标到可追溯数据链路
大数据·人工智能·大模型·向量检索·混合搜索·ai 打标·内容分析
像风一样自由20205 小时前
14.什么时候用pgvector什么时候单独部署Milvus
postgresql·大模型·微调·milvus
xier_ran17 小时前
【infra之路】AWQ 详解:激活感知权重保护,让 W4A16 量化精度超越 GPTQ
线性代数·算法·机器学习·量化·infra
像风一样自由20201 天前
13.pgvector入门用PostgreSQL直接实现向量检
人工智能·postgresql·大模型·rag·智能体
liuyunshengsir1 天前
基于海光DCU的AI音乐翻唱全流程落地实战
人工智能·大模型·音频·dcu
小七-七牛开发者1 天前
Agent 小知识 | Skill 的设计与生命周期:从工具接口到能力模块
ai·大模型·agent·token·工作流·claudecode·ai coding