大模型部署

大模型部署(deepseek)

ps :本人使用的是wsl1(window10以上版本),使用ubuntu(一款linux系统),然后在ubuntu上使用ollama(开源的本地大语言模型运行框架)运行大模型

此图是一个基本的部署架构图

wsl部署

下载安装后重启、

安装Ubuntu

下载安装后打开,进行用户的创建

创建完成后会出现如下界面

安装window terminal

因为ubuntu的终端窗口不好用,所以使用window的终端窗口

下载安装后,从下三角中找到Ubuntu,打开即可

验证cuda是否可用

ps:cuda只有英伟达的显卡才有,是一个GPU加速计算的功能

安装ollama

linux系统支持一键安装,但是因为网络问题很容易失败,所以使用手动安装,通过以下地址下载ollama安装包(一定要记住安装的路径)

解压下载的ollama安装包,注意先完成ps的操作,再进行解压操作

运行以下命令,注意第四步,要使用linux系统的文件编辑系统

使用PyCharm连接wsl

从文件目录中找到远程开发

提前在linux系统中创建好工程文件夹,然后在此处选择好

确认一下路径是否为linux路径

创建一个代码然后执行,如果为以下结果 ,那么就配置成功了

相关推荐
大任视点18 小时前
科技赋能健康未来,守护生命青春活力
大数据·人工智能·科技
光影341518 小时前
微调检测页面操作
人工智能
虎头金猫18 小时前
随时随地处理图片文档!Reubah 加cpolar的实用体验
linux·运维·人工智能·python·docker·开源·visual studio
九鼎创展科技19 小时前
九鼎创展发布X3588SCV4核心板,集成LPDDR5内存,提升RK3588S平台性能边界
android·人工智能·嵌入式硬件·硬件工程
MarkHD19 小时前
车辆TBOX科普 第18次 TBOX开发环境搭建与实践
人工智能
hans汉斯19 小时前
基于改进YOLOv11n的无人机红外目标检测算法
大数据·数据库·人工智能·算法·yolo·目标检测·无人机
TH_119 小时前
1、文章版权说明
人工智能·chatgpt
三天不学习19 小时前
谷歌Gemini 3正式发布:AI从“回答问题”迈向“完成工作”的新纪元
人工智能·ai·ai编程·gemini 3
是店小二呀20 小时前
openGauss进阶:使用DBeaver可视化管理与实战
开发语言·人工智能·yolo
万粉变现经纪人20 小时前
如何解决 pip install 编译报错 ‘cl.exe’ not found(缺少 VS C++ 工具集)问题
开发语言·c++·人工智能·python·pycharm·bug·pip