技术栈
大模型部署
AI小白龙*
2 天前
llm
·
prompt
·
embedding
·
agent
·
ai大模型
·
rag
·
大模型部署
开源模型破局OpenAI服务限制,15分钟灵活搭建RAG和Agent应用
简介: 今天,我们做了两个实验,目标在15分钟内,完成下载社区的开源模型,部署成API,替换LlamaIndex中RAG和LangChain中OpenAI接口Agent的最佳实践,并取得符合预期的结果。
AI小白龙*
5 天前
阿里云
·
大模型
·
llm
·
prompt
·
embedding
·
ai大模型
·
大模型部署
LLM大模型实战 —— DB-GPT阿里云部署指南
简介: DB-GPT 是一个实验性的开源应用,它基于FastChat,并使用vicuna-13b作为基础模型, 模型与数据全部本地化部署, 绝对保障数据的隐私安全。 同时此GPT项目可以直接本地部署连接到私有数据库, 进行私有数据处理, 目前已支持SQL生成、SQL诊断、数据库知识问答、数据处理等一系列的工作。
汀、人工智能
1 个月前
人工智能
·
自然语言处理
·
llm
·
agent
·
ai大模型
·
vllm
·
大模型部署
LLM 大模型学习必知必会系列(十三):基于SWIFT的VLLM推理加速与部署实战
GPU设备: A10, 3090, V100, A100均可.vllm不支持bnb量化的模型. vllm支持的模型可以查看支持的模型.