技术栈
模型调优
Python-AI Xenon
4 天前
大模型本地部署
·
模型调优
·
qwen3.8-27b
4×V100 32GB 本地大模型Qwen3.8-27B最优llama.cpp部署实战
摘要:本文基于一台 4×Tesla V100-SXM2-32GB 服务器的真实部署过程,系统讲清楚四件事: ① 本地部署方式横向对比与 llama.cpp 选型理由; ② GGUF 量化权重怎么选,以及从官方 Q8_0 换到 IQ4_XS 魔改版的实测演进; ③ 大模型任务阻塞的真实根因与多实例隔离方案; ④ 如何用 OpenResty + Lua 把多个实例收敛成一个 /v1/chat/completions 地址,靠 model 字段自动路由。
2601_96209968
14 天前
python开发
·
aiagent
·
智能体开发
·
模型调优
·
数字教育
国家大学生就业服务平台
【岗位职责】要以其作为主要的编程语言, 来开展AI Agent相关功能模块的开发工作, 还要进行调试, 以及做优化工作, 包括整体的编排与优化, 最终写出高质量、可维护的代码。
流水吾情
7 个月前
大模型
·
llm
·
模型调优
模型微调方法实战(基于硅基流动、百炼、unsloth平台)
硅基流动模型微调文档https://docs.siliconflow.cn/cn/userguide/guides/fine-tune
minhuan
1 年前
人工智能
·
方差
·
偏差
·
方差-偏差分解
·
方差-偏差权衡
·
模型调优
构建AI智能体:六十六、智能的边界:通过偏差-方差理论理解大模型的能力与局限
最近我们分享模型拟合和早停机制时,都涉及到了“偏差-方差权衡”的概念,那么什么是偏差,什么又是方差,隐含了哪些新奇巧妙的知识点,今天我们来一探究竟。首先,我们找一个通俗的例子,初步理解偏差和方差表达的基础概念,想象这样一个场景,我们班级里有三种类型的学生:
我是有底线的