828华为云征文|docker部署ollama搭建属于自己的大模型

1.介绍

1.1 什么是华为云Flexus X实例

最近华为云828 B2B企业节正在举办,Flexus X实例的促销也非常给力,大家可以去看看。特别是对算力性能有要求,同时对自建MySQL、Redis、Nginx性能有要求的小伙伴,千万不要错过。

Flexus云服务器X实例是新一代面向中小企业和开发者打的柔性算力云服务器,可智能感知业务负载,适用于电商直播、企业建站、开发测试环境、游戏服务器、音视频服务等中低负载场景。

1.2什么是Ollama

Ollama是一个开源的 LLM(大型语言模型)服务工具,用于简化在本地运行大语言模型,降低使用大语言模型的门槛,使得大模型的开发者、研究人员和爱好者能够在本地环境快速实验、管理和部署最新大语言模型,包括如Llama 3、Phi 3、Mistral、Gemma,Qwen等开源的大型语言模型。

2 准备华为云Flexus应用服务器L实例

注册并登录华为云找到华为云Flexus云服务

选择合适的服务器进行购买

选择相应的配置并购买

购买之后找到控制台进行密码修改和远程登陆

使用远程连接工具连接云服务器

3 部署Ollama服务

这里官网提供了三种系统的安装包这里下载安装即可使用。

这里我采用docker部署的方式

复制代码
docker pull ollama/ollama

查看镜像

复制代码
docker image ls

运行容器

bash 复制代码
docker run -itd -p11434:11434 --name ollama ollama/ollama

进入容器中

拉取对应的大模型 (mistral,llama3,qwen2,...)这里以mistral为例

运行对应的大模型 ollama run mistral

4 实现问答对话

这里我们使用Spring AI 快速搭建一个问答服务其中集成了ollama 可以快速链接到ollama服务,记得开放11434的端口

XML 复制代码
   <properties>
        <java.version>17</java.version>
        <spring-ai.version>1.0.0-M1</spring-ai.version>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-redis</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.ai</groupId>
            <artifactId>spring-ai-ollama-spring-boot-starter</artifactId>
        </dependency>
    </dependencies>
java 复制代码
@RestController
@RequestMapping("/chat")
public class ChatController {
    @Resource
    private OllamaChatModel ollamaChatModel;
    @Resource
    private InMemoryChatMemory inMemoryChatMemory;

    @Operation(summary = "同步输出")
    @GetMapping("/question")
    public String question(@RequestParam String question) {
        return ollamaChatModel.call(question);
    }

    @Operation(summary = "流式输出")
    @GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(@RequestParam String question) {
        return ollamaChatModel.stream(question);
    }

    @Operation(summary = "连续对话")
    @GetMapping(value = "/history", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> history(@RequestParam String conversationId, @RequestParam String question) {
        List<Message> messages = new ArrayList<>();
        List<Message> conversation = inMemoryChatMemory.get(conversationId, 10);
        if (conversation != null) {
            messages.addAll(conversation);
        }
        messages.add(new UserMessage(question));
        Prompt prompt = new Prompt(messages);
        UserMessage message = new UserMessage(question);
        List<Message> userMessages = new ArrayList<>();
        userMessages.add(message);
        inMemoryChatMemory.add(conversationId, userMessages);
        return ollamaChatModel.stream(prompt).map((result) -> result.getResult().getOutput().getContent());
    }
}

相关推荐
小毛驴85022 分钟前
所有微服务部署都使用一个git地址,并且通过docker部署各个服务的情况下,如何编写mvn指令来处理各个服务。
git·docker·微服务
灵犀物润2 小时前
Kubernetes 配置检查与发布安全清单
安全·容器·kubernetes
感哥2 小时前
Docker网络
docker
xy_recording2 小时前
Day20 K8S学习
学习·容器·kubernetes
九章云极AladdinEdu3 小时前
Kubernetes设备插件开发实战:实现GPU拓扑感知调度
人工智能·机器学习·云原生·容器·kubernetes·迁移学习·gpu算力
泡沫冰@3 小时前
K8S集群管理(4)
云原生·容器·kubernetes
蒋星熠3 小时前
深入 Kubernetes:从零到生产的工程实践与原理洞察
人工智能·spring boot·微服务·云原生·容器·架构·kubernetes
泡沫冰@4 小时前
K8S集群管理(2)
云原生·容器·kubernetes
敲上瘾4 小时前
Docker 存储卷(Volume)核心概念、类型与操作指南
linux·服务器·数据库·docker·容器·架构
IT利刃出鞘5 小时前
Docker--宿主机和容器相互拷贝文件
运维·docker·容器