大模型部署

大模型部署(deepseek)

ps :本人使用的是wsl1(window10以上版本),使用ubuntu(一款linux系统),然后在ubuntu上使用ollama(开源的本地大语言模型运行框架)运行大模型

此图是一个基本的部署架构图

wsl部署

下载安装后重启、

安装Ubuntu

下载安装后打开,进行用户的创建

创建完成后会出现如下界面

安装window terminal

因为ubuntu的终端窗口不好用,所以使用window的终端窗口

下载安装后,从下三角中找到Ubuntu,打开即可

验证cuda是否可用

ps:cuda只有英伟达的显卡才有,是一个GPU加速计算的功能

安装ollama

linux系统支持一键安装,但是因为网络问题很容易失败,所以使用手动安装,通过以下地址下载ollama安装包(一定要记住安装的路径)

解压下载的ollama安装包,注意先完成ps的操作,再进行解压操作

运行以下命令,注意第四步,要使用linux系统的文件编辑系统

使用PyCharm连接wsl

从文件目录中找到远程开发

提前在linux系统中创建好工程文件夹,然后在此处选择好

确认一下路径是否为linux路径

创建一个代码然后执行,如果为以下结果 ,那么就配置成功了

相关推荐
PengShuaiD59 分钟前
什么是RAG(Retrieval-Augmented Generation)?一文读懂检索增强生成
人工智能·ai·rag
咸鱼鲸1 小时前
【PyTorch】PyTorch中的数据预处理操作
人工智能·pytorch·python
沐尘而生1 小时前
【AI智能体】智能音视频-搭建可视化智能体
数据库·人工智能·ai作画·音视频·娱乐
ansondroider1 小时前
OpenCV 4.10.0 移植 - Android
android·人工智能·opencv
余衫马1 小时前
Datawhale AI 夏令营:基于带货视频评论的用户洞察挑战赛 Notebook(上篇)
人工智能
Coovally AI模型快速验证1 小时前
基于YOLOv11的CF-YOLO,如何突破无人机小目标检测?
人工智能·神经网络·yolo·目标检测·计算机视觉·cnn·无人机
lxsy2 小时前
spring-ai-alibaba 1.0.0.2 学习(十六)——多模态
人工智能·学习·ai-alibaba
深度学习机器2 小时前
OCRFlux-3B:开源 OCR + LLM 模型的新标杆,支持跨页表格合并
人工智能·机器学习·语言模型·ocr
AI人工智能+2 小时前
应用药品经营许可证OCR,提升医药行业的信息化水平与监管效率
人工智能·ocr·文字识别
倔强青铜三3 小时前
苦练Python第16天:Python模块与import魔法
人工智能·python·面试