大模型部署

大模型部署(deepseek)

ps :本人使用的是wsl1(window10以上版本),使用ubuntu(一款linux系统),然后在ubuntu上使用ollama(开源的本地大语言模型运行框架)运行大模型

此图是一个基本的部署架构图

wsl部署

下载安装后重启、

安装Ubuntu

下载安装后打开,进行用户的创建

创建完成后会出现如下界面

安装window terminal

因为ubuntu的终端窗口不好用,所以使用window的终端窗口

下载安装后,从下三角中找到Ubuntu,打开即可

验证cuda是否可用

ps:cuda只有英伟达的显卡才有,是一个GPU加速计算的功能

安装ollama

linux系统支持一键安装,但是因为网络问题很容易失败,所以使用手动安装,通过以下地址下载ollama安装包(一定要记住安装的路径)

解压下载的ollama安装包,注意先完成ps的操作,再进行解压操作

运行以下命令,注意第四步,要使用linux系统的文件编辑系统

使用PyCharm连接wsl

从文件目录中找到远程开发

提前在linux系统中创建好工程文件夹,然后在此处选择好

确认一下路径是否为linux路径

创建一个代码然后执行,如果为以下结果 ,那么就配置成功了

相关推荐
java_logo1 天前
Docker 部署 MinerU 教程:打造你的本地 PDF 智能处理中心
linux·运维·人工智能·docker·ai·容器·aigc
做运维的阿瑞1 天前
鸿蒙6.0技术解析:五大行业迎来的智能化革命
人工智能·harmonyos
双向331 天前
技术引领场景革新|合合信息PRCV论坛聚焦多模态文本智能前沿实践
人工智能
孤狼灬笑1 天前
自然语言处理(NLP)—发展历程(背景、技术、优缺点、未来方向)
人工智能·自然语言处理·nlp
特拉熊1 天前
Windows上使用Docker Desktop部署GPUStack
人工智能·程序员
LLM大模型1 天前
DeepSeek V3.2 AI辅助-构建可视化多维知识立方体展示知识体系
人工智能
Zyx20071 天前
用 OpenAI SDK 快速搭建你的第一个 AIGC 应用:从零开始生成文本
人工智能·node.js
大模型知识官1 天前
一位淘宝工程同学的大模型LoRA微调尝试
人工智能
杰克船长有烦恼1 天前
基于深度学习计算s21参数,在射频中的应用
人工智能·深度学习·射频工程
大模型知识营地1 天前
怎么使用 LLM 图转换器构建知识图谱
人工智能