如何让 Llama2、通义千问开源大语言模型快速跑在函数计算上？

作者：寒斜阿里云智能技术专家「本文是"在 Serverless 平台上构建 AIGC 应用"系列文章的第一篇文章。」

前言

随着 ChatGPT 以及 Stable Diffusion，Midjourney 这些新生代 AIGC 应用的兴起，围绕 AIGC 应用的相关开发变得越来越广泛，有呈井喷之势，从长远看这波应用的爆发不仅仅是停留在形式之上，更是在各个领域产生实际的生产力价值，比如办公领域有 copilot system 365，钉钉智能；代码编程领域有 github copilot，cursor ide；文娱领域的妙鸭相机；可以肯定的是未来 AIGC 的应用数量会更多，类型也会更加丰富，企业的内部软件或者 SOP 都会尽可能的跟 AI 进行融合，这必然催生出海量的 AIGC 应用开发需求，这也代表着巨大的市场机会。

开发 AIGC 应用的挑战

AIGC 的应用前景如此诱人，可能决定企业未来的发展走向。然而对很多中小企业及开发者而言，上手进行 AIGC 应用的开发依然有着非常高昂的成本：

基础模型服务的获取：chatgpt 提供了非常完善的 api 开发体系，然而并不开放给国内客户使用，开源的模型进行服务的部署非常困难
高昂的费用， GPU 短缺导致 GPU 的费用急剧飙升，本地购买高规格显卡需要一次性花费不少的成本，并且并不能提供在线服务。
端到端的对接：单纯模型服务的 api 无法变成直接的生产力，需要完成【企业数据&企业 SOP】-> LLM 服务 -> 各种端侧的完整链路

函数计算 AIGC 应用的解决方案

函数计算围绕创建和使用 AIGC，从基础设施到应用生态，开发端到使用端提供的完整的配套。

主要包含三个部分：

一、模型服务底座，函数计算可以部署来自魔搭，huggingface 等开元社区的 ai 模型，我们针对 LLM，Bert 等智能知识库/助手场景做了专门的定制，接入 OpenAI 兼容的 api 规范，提供一键部署的模版和可视化的 web 访问界面，帮助开发者或者企业快速上手 llama2，chatglm2，通义千问等模型的部署。

二、业务连接层，串联业务需求以及的模型服务，安全服务，数据库服务等基础资源，这部分有在 AIGC 应用部分有很多相同的逻辑，比如账号体系，数据集管理，提示词模版，工具管理，模型服务管理等，从各业务侧视角看，不一样的部分只是提示词，知识库以及工具集，底层的模型服务，安全服务，数据库服务则是共享的，这层可以简化业务里面构建不同智能场景的流程，快速，低成本的可以构建不同业务的 AIGC 应用。

三、客户端侧，客户端是 AI 应用的使用部分，也是最接近业务的部分，这部分更多的考虑是如何将 AI 服务融入已有的使用端，比如钉钉，企业微信等办公 IM 系统，以及 web 浏览器插件等，通过函数计算+eventbridge 可以快速帮助 ai 服务接入到这些客户端。

本篇教程先来分享一下第一个部分，如何通过函数计算快速部署 AIGC 相关模型服务包括 LLM 模型和 Embedding(Bert) 模型。

LLM 模型及 Embedding 服务部署教程

前期准备

使用该项目，您需要有开通以下服务：

服务	备注
函数计算 FC	对 AIGC 进行 CPU/GPU 推理计算：https://free.aliyun.com/?pipCode=fc
文件存储 NAS	存储大语言模型以及 Embedding 服务所需要的模型，新用户请先领取免费试用资源包：https://free.aliyun.com/?product=9657388\&crowd=personal