大模型部署

大模型部署(deepseek)

ps :本人使用的是wsl1(window10以上版本),使用ubuntu(一款linux系统),然后在ubuntu上使用ollama(开源的本地大语言模型运行框架)运行大模型

此图是一个基本的部署架构图

wsl部署

下载安装后重启、

安装Ubuntu

下载安装后打开,进行用户的创建

创建完成后会出现如下界面

安装window terminal

因为ubuntu的终端窗口不好用,所以使用window的终端窗口

下载安装后,从下三角中找到Ubuntu,打开即可

验证cuda是否可用

ps:cuda只有英伟达的显卡才有,是一个GPU加速计算的功能

安装ollama

linux系统支持一键安装,但是因为网络问题很容易失败,所以使用手动安装,通过以下地址下载ollama安装包(一定要记住安装的路径)

解压下载的ollama安装包,注意先完成ps的操作,再进行解压操作

运行以下命令,注意第四步,要使用linux系统的文件编辑系统

使用PyCharm连接wsl

从文件目录中找到远程开发

提前在linux系统中创建好工程文件夹,然后在此处选择好

确认一下路径是否为linux路径

创建一个代码然后执行,如果为以下结果 ,那么就配置成功了

相关推荐
诗人啊_程序员25 分钟前
AI、人工智能基础: 模型剪枝的概念与实践(PyTorch版)
人工智能·pytorch·算法·ai·剪枝
lypzcgf1 小时前
Coze源码分析-API授权-添加新令牌-后端源码
人工智能·后端·系统架构·开源·go·数据库架构·安全架构
AI_gurubar1 小时前
从“安全诉讼”说起:奖励模型(Reward Model)是LLM对齐的总阀门(全视角分析)
人工智能·安全
SmartBrain1 小时前
《任正非传》读书笔记(下):鸿蒙生态与全球化
人工智能·华为·创业创新
聚客AI1 小时前
🤯RAG系统升级:微调嵌入模型提升上下文检索质量
人工智能·llm·掘金·日新计划
做科研的周师兄1 小时前
【机器学习入门】4.1 聚类简介——从“物以类聚”看懂无监督分组的核心逻辑
javascript·人工智能·算法·机器学习·支持向量机·聚类
算法打盹中2 小时前
基于大型语言模型的自然语言到 SQL 转换研究综述:我们身处何处,又将前往何方?
人工智能·sql·语言模型·text2sql·nl2sql
嘀咕博客2 小时前
知料觅得-新一代AI搜索引擎
人工智能·搜索引擎·ai工具
测试-鹏哥2 小时前
轻舟已过万重山 - ITP V2.1.0版本成功发布
运维·人工智能·python·测试工具·docker·django
先做个垃圾出来………2 小时前
机器学习中的欠拟合与过拟合
人工智能·机器学习