Rust实现智能助手 - 项目初始化

文章目录

前言

你好,我是醉墨居士,最近准备花一些时间来使用Rust语言实现一个智能助手,希望能够帮助到你。

环境准备

  1. 安装Rust语言环境,你可以从官网下载安装包安装。
  2. 安装Ollama,你可以在官网下载安装包安装。(我这里暂时qwen2.5:0.5b模型)
  3. 安装PostgreSQL数据库。

依赖

toml 复制代码
ollama-rs = "0.2.2"
tokio = { version = "1.43.0", features = ["full"] }
tokio-stream = { version = "0.1.17" }
axum = "0.8.1"

代码

rust 复制代码
use std::{collections::HashMap, sync::OnceLock};

use axum::{
    extract::Query, routing::get, Json, Router
};
use ollama_rs::{
    generation::completion::request::GenerationRequest, Ollama
};

#[derive(Debug)]
struct Context {
    ollama: Ollama,
}

static CONTEXT: OnceLock<Context> = OnceLock::new();

impl Context {
    fn global() -> &'static Self {
        CONTEXT.get_or_init(|| {
            println!("Initializing Ollama...");
            Context {
                ollama: Ollama::default(),
            }
        })
    }
}

#[tokio::main]
async fn main() {
    let app = Router::new().route("/", get(chat));

    let listener = tokio::net::TcpListener::bind("0.0.0.0:3000").await.unwrap();
    axum::serve(listener, app).await.unwrap();
}

async fn chat(Query(mut query): Query<HashMap<String, String>>) -> Json<String> {
    let prompt = if let Some(prompt) = query.remove("prompt") {
        prompt
    } else {
        return Json("Error: prompt not provided".to_string());
    };

    let req = GenerationRequest::new("qwen2.5:0.5b".into(), prompt);
    let res = Context::global().ollama.generate(req).await;
    Json(
        if let Ok(res) = res {
            res.response
        } else {
            "Error".to_string()
        }
    )
}

运行

bash 复制代码
cargo run

使用

打开浏览器,访问http://localhost:3000?prompt=你好,即可得到AI回复

最后

我是醉墨居士,这篇博客就先到这里,后续我会继续更新,欢迎你提出宝贵意见,互相交流,共同进步

相关推荐
行者-全栈开发19 分钟前
SpringBoot + GraalVM 原生编译实战:启动时间从8秒到0.5秒的极致优化
java·spring boot·后端
tryCbest28 分钟前
Python 爬虫从入门到实战(一):基础篇——从零写出第一个爬虫
开发语言·爬虫·python
CoderYanger31 分钟前
Java EE 进阶:10. MyBatis-Plus使用(第一弹)
java·spring boot·后端·sql·spring·java-ee·mybatis
多加点辣也没关系1 小时前
JavaScript|第40章:JavaScript 工程化实践
开发语言·javascript·ecmascript
一条Go1 小时前
状态页与 SLA:对外承诺是怎么算出来的
后端·架构·github
喵个咪2 小时前
GoWind IM 场景:乙方怎么用一套 IM 平台交付多个客户——档位、租户与离线交付
后端·go·saas
大胖爱学习_MJ3 小时前
超越向量检索:用 Spring Boot + Neo4j 手搓 GraphRAG 知识图谱记忆
java·后端·python
知识搬运临时工3 小时前
双路服务器跑得比单路慢:JVM 没看见内存的距离
java·后端
Gopher_HBo3 小时前
mprof.go全程跟拍-跟着一个请求走完四种采集
后端
吃我一窝jio3 小时前
Java Bug复盘与性能优化实战
java·开发语言·笔记