大模型部署

大模型部署(deepseek)

ps :本人使用的是wsl1(window10以上版本),使用ubuntu(一款linux系统),然后在ubuntu上使用ollama(开源的本地大语言模型运行框架)运行大模型

此图是一个基本的部署架构图

wsl部署

下载安装后重启、

安装Ubuntu

下载安装后打开,进行用户的创建

创建完成后会出现如下界面

安装window terminal

因为ubuntu的终端窗口不好用,所以使用window的终端窗口

下载安装后,从下三角中找到Ubuntu,打开即可

验证cuda是否可用

ps:cuda只有英伟达的显卡才有,是一个GPU加速计算的功能

安装ollama

linux系统支持一键安装,但是因为网络问题很容易失败,所以使用手动安装,通过以下地址下载ollama安装包(一定要记住安装的路径)

解压下载的ollama安装包,注意先完成ps的操作,再进行解压操作

运行以下命令,注意第四步,要使用linux系统的文件编辑系统

使用PyCharm连接wsl

从文件目录中找到远程开发

提前在linux系统中创建好工程文件夹,然后在此处选择好

确认一下路径是否为linux路径

创建一个代码然后执行,如果为以下结果 ,那么就配置成功了

相关推荐
Jackson_Mseven2 分钟前
Instruction Tuning & RLHF:大侠成长之路的“武功秘籍”
人工智能·chatgpt·llm
人工智能训练师5 分钟前
Fay数字人如何使用GPT-SOVITS进行TTS转换以及遇到的一些问题
人工智能·gpt·语音识别
eric-sjq6 分钟前
0.08B参数以小博大:用小模型生成媲美GPT-4o的古典诗词
人工智能
数据知道9 分钟前
百度翻译详解:包括PaddleNLP、百度AI开放平台、接口逆向(包括完整代码)
人工智能·百度·语言模型·自然语言处理·机器翻译
舒一笑32 分钟前
企业AI落地不顺问题可能出在你没搞懂知识库
人工智能
涛思数据(TDengine)1 小时前
可信数据库大会现场,TDengine 时序数据库展示核电场景下的高性能与 AI 创新
大数据·运维·数据库·人工智能·时序数据库·tdengine·涛思数据
不剪发的Tony老师1 小时前
NeoBase:一款开源、基于AI的数据库管理助手
数据库·人工智能·neobase
一碗白开水一1 小时前
【YOLO系列】YOLOv12详解:模型结构、损失函数、训练方法及代码实现
人工智能·深度学习·yolo·计算机视觉
努力一点9481 小时前
ubuntu22.04系统实践 linux基础入门命令(三) 用户管理命令
linux·运维·服务器·人工智能·ubuntu·gpu算力